CN109961308A - 评估标签数据的方法和装置 - Google Patents

Abstract

本发明公开了一种评估标签数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将待评估标签数据评估为合格；和/或，根据待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；将待评估标签数据、与待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将待评估标签数据评估为合格。该实施方式能够在没有标注数据的情况下，对标签数据的质量进行准确评估。

Description

评估标签数据的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种评估标签数据的方法和装置。

背景技术

在计算机技术领域，为了实现推送信息的精确匹配，往往需要进行用户画像。用户画像指的是根据用户的社会属性、生活习惯和消费行为等信息抽象出一个标签化的用户模型，也就是说为用户设置一包含多种标签下多个标签值的标签数据。例如，根据某用户的社会属性与消费行为，可以为该用户生成如下标签数据“性别：男；年龄：32岁；地域：山西；用户标识：XXXXX；兴趣：运动、科学”；其中，性别、年龄、地域、用户标识、兴趣为不同的标签，男、32岁、山西、XXXXX、运动、科学为相应标签下的标签值。

实际应用中，为了将推送信息精确定位到目标用户，一般需要从多个渠道获取海量的标签数据，而如何评估标签数据的质量就成为一个亟待解决的问题。目前，常见的方法是利用已携带用户准确标签值的标注数据，将待评估标签数据与标注数据进行对比以实现评估。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

1.标签数据的评估完全依赖于标注数据，而在具体应用中标注数据的数量较少，难以对海量的标签数据进行有效评估。

2.标注数据一般是固定的，但用户的标签数据往往会随着其行为发生改变，因此基于标注数据的评估方法难以实现标签数据质量的长期监控。

发明内容

有鉴于此，本发明实施例提供一种评估标签数据的方法和装置，能够在没有标注数据的情况下，对标签数据的质量进行准确评估。

为实现上述目的，根据本发明的一个方面，提供了一种评估标签数据的方法。

本发明实施例的评估标签数据的方法包括：根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或，根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

可选地，所述根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或，将所述待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。

可选地，所述特定信息为广告。

可选地，所述根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：在预设的第一比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示；在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第一比例小于第二比例；在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示；在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第三比例大于第四比例；在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

可选地，所述方法进一步包括：在所述在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据所述待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

可选地，所述根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第五比例小于第六比例；在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时：在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第七比例大于第八比例；在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

可选地，所述方法进一步包括：在所述在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。

可选地，所述将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示包括：建立存储待评估标签数据的标签池；接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；将该用户标识对应的待评估标签数据存储在标签池的当前位置；响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

可选地，在根据多个待评估标签数据向用户进行特定信息展示之前，所述方法进一步包括：在预先建立的广告效果数据库中：将与所述待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；比较关联数据以及非关联数据的展示效果数据；和/或，利用关联数据获取第一点击率预估模型，利用非关联数据获取第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。

可选地，所述方法进一步包括：在所述待评估标签数据的评估结果符合预设的第二判别条件时，将所述待评估标签数据评估为优秀。

可选地，所述方法进一步包括：对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据；对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

可选地，展示效果数据、初始效果数据或错位效果数据包括以下至少一种：特定信息展现量、特定信息点击量、基于特定信息的成交总额、以及基于特定信息的收入总额。

为实现上述目的，根据本发明的又一方面，提供了一种评估标签数据的装置。

本发明实施例的评估标签数据的装置可包括：第一评估单元，可用于根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或，第二评估单元，可用于根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

可选地，第一评估单元可包括：第一评估模块，可用于根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或，第二评估模块，可用于将所述待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。

可选地，所述特定信息为广告。

可选地，第一评估模块可进一步用于：在预设的第一比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示；在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第一比例小于第二比例；在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示；在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第三比例大于第四比例；在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

可选地，第一评估模块可进一步用于：在所述在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据所述待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

可选地，第二评估模块可进一步用于：在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第五比例小于第六比例；在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时：在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第七比例大于第八比例；在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

可选地，第二评估模块可进一步用于：在所述在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。

可选地，第二评估单元可进一步用于：建立存储待评估标签数据的标签池；接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；将该用户标识对应的待评估标签数据存储在标签池的当前位置；响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

可选地，所述装置可进一步包括线下评估单元，所述线下评估单元可用于：在预先建立的广告效果数据库中：将与所述待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；比较关联数据以及非关联数据的展示效果数据；和/或，利用关联数据获取第一点击率预估模型，利用非关联数据获取第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。

可选地，所述装置可进一步包括：第三评估单元，可用于在所述待评估标签数据的评估结果符合预设的第二判别条件时，将所述待评估标签数据评估为优秀。

可选地，所述装置可进一步包括标签关联单元，所述标签关联单元可用于：对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据；对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

可选地，展示效果数据、初始效果数据或错位效果数据可包括以下至少一种：特定信息展现量、特定信息点击量、基于特定信息的成交总额、以及基于特定信息的收入总额。

为实现上述目的，根据本发明的又一方面，提供了一种电子设备。

本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的评估标签数据的方法。

为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。

本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的评估标签数据的方法。

根据本发明的技术方案，上述发明中的一个实施例具有如下优点或有益效果：在上线时通过如下三种方式全面评估标签数据：在广告召回阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；在广告排序阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；比较采用正常待评估标签数据与采用错位待评估标签数据的展示效果，从而在没有标注数据的情形下，依然能够对标签数据的质量进行有效评估与监控；同时，在上述第一种方式与第二种方式的评估过程中，均先以较小比例的流量进行测试，小流量成功后推广到较大比例的流量，大流量成功后才进行全量应用，从而最大程度地减少评估过程可能带来的经济损失；此外，在上线前的离线状态，从广告效果数据库中获取待评估标签数据的关联数据，比较关联数据与非关联数据的展示效果，比较分别根据关联数据与非关联数据训练得到的点击率预估模型的AUC指标，从而实现待评估标签数据质量的初步判断，有助于下一步的线上评估；另外，本发明还可提供一种关联算法，将待评估标签数据中的非重定向用户数据与重定向用户数据进行关联，由此将服务方的初始标签数据赋于非重定向用户，实现了基于初始标签数据的非重定向用户定向，可提升广告推送效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的评估标签数据的方法的主要步骤示意图；

图2是根据本发明实施例的评估标签数据的装置的主要部分示意图；

图3是根据本发明实施例可以应用于其中的示例性系统架构图；

图4是用来实现本发明实施例的评估标签数据的方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本发明实施例的技术方案中，在上线时通过如下三种方式全面评估标签数据：在广告召回阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；在广告排序阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；比较采用正常待评估标签数据与采用错位待评估标签数据的展示效果，从而在没有标注数据的情形下，依然能够对标签数据的质量进行有效评估与监控；同时，在上述第一种方式与第二种方式的评估过程中，均先以较小比例的流量进行测试，小流量成功后推广到较大比例的流量，大流量成功后才进行全量应用，从而最大程度地减少评估过程可能带来的经济损失；此外，在上线前的离线状态，从广告效果数据库中获取待评估标签数据的关联数据，比较关联数据与非关联数据的展示效果，比较分别根据关联数据与非关联数据训练得到的点击率预估模型的AUC指标，从而实现待评估标签数据质量的初步判断，有助于下一步的线上评估；另外，本发明还可提供一种关联算法，将待评估标签数据中的非重定向用户数据与重定向用户数据进行关联，由此将服务方的初始标签数据赋于非重定向用户，实现了基于初始标签数据的非重定向用户定向，可提升广告推送效率。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

图1是根据本发明实施例的评估标签数据的方法的主要步骤示意图。

如图1所示，本发明实施例的评估标签数据的方法可根据以下步骤执行：

步骤S101：根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将多个待评估标签数据评估为合格。

在本发明实施例中，待评估标签数据指的是服务方通过多种渠道获取的标签数据。实际应用场景中，待评估标签数据的数量往往是千万或以上级别。可以理解的是，服务方内部也会根据用户行为数据库存储的用户的注册信息、消费行为信息等形成初始标签数据，与初始标签数据相比，待评估标签数据一般具有不同的标签与标签值。例如，对于媒体侧提供的待评估标签数据，往往具有服务方缺少的兴趣标签。

具体应用中，任一标签数据均包括用于将标签数据与用户进行关联的用户标识，服务方接收到用户发送的请求之后，可以根据请求中的用户标识获取对应的标签数据，根据该标签数据进行特定信息的展示。其中，用户标识可以根据业务需求确定，例如采用用户使用的设备的标识，如手机的国际移动设备身份码IMEI(International MobileEquipmentIdentity)、手机号码等。实际使用中，可以将IMEI或手机号码利用哈希算法(如信息摘要算法5，即MD5)进行运算，将得到的哈希值作为用户标识。

实际应用中，如果在用户行为数据库中存储有某一待评估标签数据的用户标识，则将该待评估标签数据作为重定向用户数据，对应的用户作为重定向用户，重定向用户具有待评估标签数据与服务方提供的初始标签数据两种标签数据。如果在用户行为数据库中未存储某一待评估标签数据的用户标识，则将该待评估标签数据作为非重定向用户数据，对应的用户作为非重定向用户，非重定向用户只有待评估标签数据一种标签数据。

在本步骤中，特定信息指的是服务方根据用户请求欲向用户推送的信息。在具体应用场景中，特定信息可以是广告，可以是推荐物品信息，也可以是其它任何需要展示于用户的信息。展示效果数据指的是基于展示于用户的特定信息形成的各种业务指标数据，例如，对于广告来说，其展示效果数据可以是如下至少一种数据：广告展现量、广告点击量、广告点击率、基于广告的成交总额、基于广告的收入总额、投资回报率。其中，点击率为点击量与展现量之商，投资回报率为基于广告的成交总额与基于广告的收入总额之商。以下将以广告为例具体介绍本发明的技术方案。

在本发明实施例中，第一判别条件可以根据业务需求灵活制定。例如，第一判别条件为：当预设时间间隔内的广告点击率大于预设的点击率阈值时，将待评估标签数据评估为合格。基于第一判别条件，本步骤能够通过判断由待评估标签数据带来的展示效果，进行标签数据质量的评估。

在一可选实现方式中，步骤S101可采用以下两种方式实现：

第一种方式：根据待评估标签数据获取候选广告，在候选广告中确定投放广告向用户展示；在展示效果数据符合预设的第一判别条件时，将待评估标签数据评估为合格。

在计算机技术领域的精准广告定向方向，需要通过以下步骤向用户展示广告：接收用户请求，根据请求中携带的用户标识获取用户的标签数据；利用该标签数据确定多个候选广告或随机确定多个候选广告；将该标签数据、候选广告以及日期信息、促销信息等相关信息输入点击率预估模型预测发生点击的概率，按照预测的概率大小对候选广告排序，将概率最大的候选广告作为投放广告向用户展示。其中，确定候选广告的阶段为广告召回阶段，利用点击率预估模型确定投放广告的阶段为广告排序阶段。

具体地，利用待评估标签数据获取候选广告的过程可以是：在广告召回阶段，接收用户请求，判断请求携带的用户标识是否在待评估标签数据中：若是，根据相应的待评估标签数据中的各标签值确定多个候选广告；否则，随机选取多个候选广告。

作为一个优选方案，第一种方式可以根据以下步骤具体执行：

(1)在预设的第一比例的流量，根据待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示。

其中，流量是指服务方的访问量，第一比例一般小于50％，例如3％、10％等；排序策略可根据应用环境设置，其可以是接入初始标签数据的点击率预估模型、接入待评估标签数据的点击率预估模型、或者未接入标签数据的点击率预估模型。可以理解的是，在接入标签数据的点击率预估模型中，是将标签数据作为模型特征来计算候选广告的点击概率的。

(2)在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。实际应用中，第二比例一般大于50％，第二比例大于第一比例。例如：第一比例为10％时，第二比例可以是90％。可以理解的是，在计算机技术领域，广告召回阶段随机获取候选广告即为广告通投。

(3)在第一比例流量的展示效果数据不优于第二比例流量的展示效果数据时，将待评估标签数据评估为问题数据。在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时，执行下一步骤。

可以理解的是，展示效果数据是基于一定时间间隔、一定流量的广告展现量、广告点击量或广告点击率等统计值。较佳地，在本发明实施例中，根据预设的展示效果判别策略来确定两种展示效果数据的优劣。其中，展示效果判别策略可根据业务需求设置，其可以是：分别计算两种展示效果数据的效果指数，将效果指数较大的展示效果数据确定为较优。实际应用中，对于任一展示效果数据，效果指数为广告展现量、广告点击量、点击率、基于广告的成交总额、基于广告的收入总额或投资回报率的增函数，在影响效果指数的上述各种数据中，广告点击量具有最大的权重。具体应用场景中，在广告点击量明显提升、广告点击率适度下降的前提下，效果指数往往都会提升。此外，需要说明的是，对于进行比较的两种展示效果数据，如果得到展示效果数据依赖的流量或数据量不同，需要在比较前分别进行归一化处理。

经过上述步骤(1)到步骤(3)，可以测试待评估标签数据在小流量的展示效果，若展示效果较好，可将其推广到大流量继续测试。

(4)在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示。其中，第三比例大于50％。实际应用中，第三比例可以与第二比例相等。

(5)在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。其中，第四比例小于50％，其小于第三比例，可以与第一比例相等。

(6)在第三比例流量的展示效果数据不优于第四比例流量的展示效果数据时，将待评估标签数据评估为问题数据；在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将待评估标签数据评估为合格。

(7)在待评估标签数据被评估为合格之后，在全部流量根据待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

举例而言，上述步骤(1)到步骤(7)可以是如下过程：

在10％的流量利用待评估标签数据进行广告召回，在90％的流量进行广告通投。若前者效果较好，则在90％的流量利用待评估标签数据进行广告召回，在10％的流量进行广告通投。若前者效果依旧较好，则将待评估标签数据评估为合格，并在100％的流量利用待评估标签数据进行广告召回。

经过上述步骤，第一种评估方式利用广告召回阶段的效果比较实现了标签数据的评估。同时，在评估过程中从小流量逐渐推广到大流量乃至全量，可在保证评估质量的基础上避免测试损失。

除了以上的第一种方式，步骤S101还可采用以下方式实现：

第二种方式：将待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选广告，在该候选广告中利用该排序模型确定投放广告向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。

其中，排序模型可以是已接入初始标签数据的点击率预估模型。在将待评估标签数据接入排序模型时：对于待评估标签数据中的非重定向用户数据，将其所有标签值作为模型特征接入排序模型；对于重定向用户数据，将与该重定向用户数据对应的初始标签数据缺少的标签值作为模型特征接入排序模型。召回策略可以是根据待评估标签数据进行候选广告召回，也可以是广告通投。

具体地，第二种方式中从候选广告中确定投放广告的过程可以是：接收用户请求，判断请求携带的用户标识是否在排序模型接入的标签数据中：若是，根据相应的标签数据中的各标签值计算每一候选广告发生点击的概率，按照概率大小对候选广告进行排序，将概率最大的候选广告作为投放广告。否则，不采用标签数据计算候选广告发生点击的概率，将概率最大的候选广告作为投放广告。

作为一个优选方案，第二种方式可以根据以下步骤具体执行：

(1)在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入待评估标签数据的排序模型确定投放广告向用户展示。其中，第五比例一般小于50％。

(2)在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第六比例一般大于50％。

(3)在第五比例流量的展示效果数据不优于第六比例流量的展示效果数据时，将待评估标签数据评估为问题数据；在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时，继续下一步骤。

经过上述步骤(1)到步骤(3)，可以测试待评估标签数据在小流量的展示效果，若展示效果较好，可将其推广到大流量继续测试。

(4)在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。实际应用中，第七比例一般大于50％。

(5)在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示。一般地，第八比例小于50％。

(6)在第七比例流量的展示效果数据不优于第八比例流量的展示效果数据时，将待评估标签数据评估为问题数据；在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将待评估标签数据评估为合格。

(7)将待评估标签数据评估为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入待评估标签数据的排序模型确定投放广告向用户展示。

具体应用中，步骤(7)可以是：如果在较长时间内，观察到第七比例流量的展示效果数据优于第八比例流量的展示效果数据，则在全部流量利用接入待评估标签数据的排序模型进行广告展示。

举例而言，上述步骤(1)到步骤(7)可以是如下过程：

在10％的流量利用接入待评估标签数据的排序模型确定投放广告，在90％的流量利用原排序模型确定投放广告。若前者效果较好，则在90％的流量利用接入待评估标签数据的排序模型确定投放广告，在10％的流量利用原排序模型确定投放广告。若前者效果依旧较好，则将待评估标签数据评估为合格，并在100％的流量利用接入待评估标签数据的排序模型确定投放广告。

经过上述步骤，第二种评估方式利用广告排序阶段的效果比较实现了标签数据的评估。同时，在评估过程中从小流量逐渐推广到大流量乃至全量，可在保证评估质量的基础上避免测试损失。

以上介绍了用于标签数据评估的两种方式，需要说明的是，具体应用中，可以选择两种方式中的任一方式进行标签数据的评估，也可以将两种方式结合起来进行更加全面的标签数据的评估，在结合时，两种方式并不存在时间或逻辑上的先后关系。

步骤S102：根据待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；将待评估标签数据、与待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将待评估标签数据评估为合格。

可以看到，本步骤展示的是第三种评估标签数据的方式。具体应用场景中，第三种方式可以单独用于评估标签数据，可以与第一种方式或第二种方式结合起来进行评估，也可以与第一种方式以及第二种方式结合起来进行评估，本发明并不对此进行任何限制。在多种方式结合时，各方式之间并不存在时间或逻辑上的先后关系。

在本步骤中，初始效果数据与错位效果数据均属于展示效果数据，初始效果数据与错位效果数据优劣的判断也是根据预设的展示效果判别策略实现的。

特别地，对于多个待评估标签数据中的每一个，都与该待评估标签数据中的用户标识相互对应，而错位处理是指改变待评估标签数据与其用户标识的对应关系，使每一待评估标签数据以极大概率同与其不对应的用户标识进行匹配的操作。其中，极大概率指的是概率大于预设的概率阈值，如0.9。

例如：3个待评估标签数据如下：

数据1：(性别：男；年龄：32岁；地域：山西；用户标识：XXX；兴趣：运动、科学)，与用户标识XXX对应；

数据2：(性别：女；年龄：66岁；地域：河北；用户标识：YYY；兴趣：饮食)，与用户标识YYY对应；

数据3：(性别：女；年龄：21岁；地域：河南；用户标识：ZZZ；兴趣：集邮)，与用户标识ZZZ对应；

经过错位处理，数据1与YYY对应，数据2与ZZZ对应，数据3与XXX对应。

根据错位处理得到的数据是匹配的用户标识与待评估标签数据，而根据错位处理得到的数据向用户进行特定信息展示的过程可以是：接收用户请求，确定请求中携带的用户标识；获取用户标识匹配的待评估标签数据，将该待评估标签数据应用在广告召回阶段与广告排序阶段以确定投放广告向用户展示。

可以理解的是，如果待评估标签数据的质量合格，则采用该待评估标签数据必然具有较好的展示效果；若将该待评估标签数据进行错位处理，则其质量必然产生较大下降，其展示效果也必然产生较大下滑。而对于本来就有问题的待评估标签数据，错位处理前后的展示效果不会有明显差异。因此，可以通过上述第三种方式进行标签数据的质量评估。

作为一个优选方案，可以针对对应于待评估标签数据的用户标识，通过以下步骤实现待评估标签数据的错位处理及后续的广告展示：

1.建立存储待评估标签数据的标签池。具体地，该标签池在初始状态为空，具有多个存储位置，每一存储位置可存储一个待评估标签数据，每从标签池提取一次数据，标签池的当前位置向后移动一个位置。

2.接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；并将该用户标识对应的待评估标签数据存储在标签池的当前位置。

3.响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

通过步骤S102，本发明以第三种方式实现了标签数据的准确评估，并可对标签数据的质量进行长期监控，在标签数据出现问题时及时感知。

上述第一种方式、第二种方式、第三种方式均为上线状态的评估方法，实际应用中，在上线评估前，可以在离线状态对待评估标签数据的质量进行初步判断。具体地，可以按照如下两种方法进行离线评估：

1.在预先建立的广告效果数据库中：将与待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；比较关联数据以及非关联数据的展示效果数据。

其中，广告效果数据库中存储了多个用户标识以及对应于每一用户标识的展示效果数据。由于关联数据与相应的待评估标签数据具有相同的用户标识，故一般来说，二者对应于同一用户。分析关联数据的展示效果数据可以判断该用户的活跃程度，从而可间接判断相应待评估标签数据的质量。

实际应用中，如果关联数据的展示效果数据优于非关联数据，可适当增加上线状态的第一种方式的第一比例或第二种方式的第五比例；如果关联数据的展示效果数据不优于非关联数据，可适当减小上线状态的第一种方式的第一比例或第二种方式的第五比例。

2.利用关联数据训练得到第一点击率预估模型，利用非关联数据训练得到第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。AUC指标能够直接反映模型的分类性能，从而可间接判断待评估标签数据的质量。

实际应用中，如果第一点击率预估模型的AUC指标优于第二点击率预估模型，可适当增加上线状态的第一种方式的第一比例或第二种方式的第五比例；如果第一点击率预估模型的AUC指标不优于第二点击率预估模型，可适当减小上线状态的第一种方式的第一比例或第二种方式的第五比例。

实际应用中，离线评估可选择上述两种离线评估方法中任一，也可将二者结合进行评估。同时，为了减少运算量，在计算展示效果数据或AUC指标时，可选取部分相应数据完成。

在一可选实现方式中，在通过第一种方式、和/或第二种方式、和/或第三种方式确定待评估标签数据的评估结果后，可在判断评估结果符合预设的第二判别条件时，将待评估标签数据评估为优秀。

其中，第二判别条件可以根据应用环境设置，其可以是：在第一种方式评估为合格时即将待评估标签数据评估为优秀；或者，在第一种方式评估为合格且第二种方式评估为合格时，将待评估标签数据评估为优秀；或者，三种方式均评估为合格时将待评估标签数据评估为优秀。

具体应用中，由于某些广告主更加青睐服务方提供的初始标签数据，因此有必要提供一种关联算法，将评估为优秀的待评估标签数据中的非重定向用户数据关联到相似度最高的初始标签数据。较佳地，可执行如下步骤实现上述关联：

1.对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据。

2.对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据。

具体地，首先将评估为优秀的任一待评估标签数据转换为n维向量；之后获取m个n维随机向量，每一随机向量中的每一元素均为-1或1，m与n均为正整数；将m个随机向量分别与n维向量点乘：若点乘结果大于零，则将相应的签名位记为1；若点乘结果不大于零，则将相应的签名位记为0，由此得到n维向量的m位签名；最后，对于任一非重定向用户数据，确定数据的签名与其签名的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

这样，即可将任一非重定向用户数据关联到相似度最高的初始标签数据，从而提升广告推送效率。

根据本发明实施例的方法可以看出，在上线时通过如下三种方式全面评估标签数据：在广告召回阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；在广告排序阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；比较采用正常待评估标签数据与采用错位待评估标签数据的展示效果，从而在没有标注数据的情形下，依然能够对标签数据的质量进行有效评估与监控；同时，在上述第一种方式与第二种方式的评估过程中，均先以较小比例的流量进行测试，小流量成功后推广到较大比例的流量，大流量成功后才进行全量应用，从而最大程度地减少评估过程可能带来的经济损失；此外，在上线前的离线状态，从广告效果数据库中获取待评估标签数据的关联数据，比较关联数据与非关联数据的展示效果，比较分别根据关联数据与非关联数据训练得到的点击率预估模型的AUC指标，从而实现待评估标签数据质量的初步判断，有助于下一步的线上评估；另外，本发明还可提供一种关联算法，将待评估标签数据中的非重定向用户数据与重定向用户数据进行关联，由此将服务方的初始标签数据赋于非重定向用户，实现了基于初始标签数据的非重定向用户定向，可提升广告推送效率。

图2是本发明实施例的评估标签数据的装置的主要部分示意图。

如图2所示，本发明实施例的评估标签数据的装置200可包括第一评估单元201、和/或第二评估单元202；其中：

第一评估单元201可用于根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；

第二评估单元202可用于根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

在本发明实施例中，第一评估单元201可包括第一评估模块、和/或第二评估模块，其中：

第一评估模块可用于根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；

第二评估模块可用于将所述待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。特别地，所述特定信息为广告。

具体应用中，第一评估模块可进一步用于：在预设的第一比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示；在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第一比例小于第二比例；在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示；在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第三比例大于第四比例；在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

较佳地，在本发明实施例中，第一评估模块还可进一步用于：在所述在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据所述待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

在一可选实现方式中，第二评估模块可进一步用于：在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第五比例小于第六比例；在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时：在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第七比例大于第八比例；在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

作为一个优选方案，第二评估模块可进一步用于：在所述在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。

实际应用中，第二评估单元202可进一步用于：建立存储待评估标签数据的标签池；接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；将该用户标识对应的待评估标签数据存储在标签池的当前位置；响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

在具体实现场景中，所述装置200可进一步包括线下评估单元，所述线下评估单元可用于：在预先建立的广告效果数据库中：将与所述待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；比较关联数据以及非关联数据的展示效果数据；和/或，利用关联数据获取第一点击率预估模型，利用非关联数据获取第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。

进一步地，所述装置200可进一步包括第三评估单元，第三评估单元可用于在所述待评估标签数据的评估结果符合预设的第二判别条件时，将所述待评估标签数据评估为优秀。

特别地，所述装置200可进一步包括标签关联单元，所述标签关联单元可用于：对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据；对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

此外，在本发明实施例中，展示效果数据、初始效果数据或错位效果数据包括以下至少一种：特定信息展现量、特定信息点击量、基于特定信息的成交总额、以及基于特定信息的收入总额。

在本发明实施例的技术方案中，在上线时通过如下三种方式全面评估标签数据：在广告召回阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；在广告排序阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；比较采用正常待评估标签数据与采用错位待评估标签数据的展示效果，从而在没有标注数据的情形下，依然能够对标签数据的质量进行有效评估与监控；同时，在上述第一种方式与第二种方式的评估过程中，均先以较小比例的流量进行测试，小流量成功后推广到较大比例的流量，大流量成功后才进行全量应用，从而最大程度地减少评估过程可能带来的经济损失；此外，在上线前的离线状态，从广告效果数据库中获取待评估标签数据的关联数据，比较关联数据与非关联数据的展示效果，比较分别根据关联数据与非关联数据训练得到的点击率预估模型的AUC指标，从而实现待评估标签数据质量的初步判断，有助于下一步的线上评估；另外，本发明还可提供一种关联算法，将待评估标签数据中的非重定向用户数据与重定向用户数据进行关联，由此将服务方的初始标签数据赋于非重定向用户，实现了基于初始标签数据的非重定向用户定向，可提升广告推送效率。

图3示出了可以应用本发明实施例的评估标签数据的方法或评估标签数据的装置的示例性系统架构300。

如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的评估标签数据的方法一般由服务器305执行，相应地，评估标签数据的装置一般设置于服务器305中。

应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的评估标签数据的方法。

下面参考图4，其示出了适于用来实现本发明实施例的电子设备的计算机系统400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有计算机系统400操作所需的各种程序和数据。CPU401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元401执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一评估单元与第二评估单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第二评估单元还可以被描述为“对待评估标签数据进行错位处理的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或，根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

在本发明实施例的技术方案中，在上线时通过如下三种方式全面评估标签数据：在广告召回阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；在广告排序阶段，比较采用待评估标签数据与不采用待评估标签数据的展示效果；比较采用正常待评估标签数据与采用错位待评估标签数据的展示效果，从而在没有标注数据的情形下，依然能够对标签数据的质量进行有效评估与监控；同时，在上述第一种方式与第二种方式的评估过程中，均先以较小比例的流量进行测试，小流量成功后推广到较大比例的流量，大流量成功后才进行全量应用，从而最大程度地减少评估过程可能带来的经济损失；此外，在上线前的离线状态，从广告效果数据库中获取待评估标签数据的关联数据，比较关联数据与非关联数据的展示效果，比较分别根据关联数据与非关联数据训练得到的点击率预估模型的AUC指标，从而实现待评估标签数据质量的初步判断，有助于下一步的线上评估；另外，本发明还可提供一种关联算法，将待评估标签数据中的非重定向用户数据与重定向用户数据进行关联，由此将服务方的初始标签数据赋于非重定向用户，实现了基于初始标签数据的非重定向用户定向，可提升广告推送效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (26)

1.一种评估标签数据的方法，其特征在于，包括：

根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或

根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

2.根据权利要求1所述的方法，其特征在于，所述根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：

根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或

将所述待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。

3.根据权利要求2所述的方法，其特征在于，所述特定信息为广告。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：

在预设的第一比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示；在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第一比例小于第二比例；

在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示；在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第三比例大于第四比例；

在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：

在所述在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据所述待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

6.根据权利要求3所述的方法，其特征在于，所述根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格包括：

在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第五比例小于第六比例；

在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时：在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第七比例大于第八比例；

在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：

在所述在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。

8.根据权利要求3所述的方法，其特征在于，所述将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示包括：

建立存储待评估标签数据的标签池；

接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；将该用户标识对应的待评估标签数据存储在标签池的当前位置；

响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

9.根据权利要求3所述的方法，其特征在于，在根据多个待评估标签数据向用户进行特定信息展示之前，所述方法进一步包括：

在预先建立的广告效果数据库中：将与所述待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；

比较关联数据以及非关联数据的展示效果数据；和/或

利用关联数据获取第一点击率预估模型，利用非关联数据获取第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。

10.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：

在所述待评估标签数据的评估结果符合预设的第二判别条件时，将所述待评估标签数据评估为优秀。

11.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：

对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据；

对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

12.根据权利要求1-11任一所述的方法，其特征在于，展示效果数据、初始效果数据或错位效果数据包括以下至少一种：特定信息展现量、特定信息点击量、基于特定信息的成交总额、以及基于特定信息的收入总额。

13.一种评估标签数据的装置，其特征在于，包括：

第一评估单元，用于根据多个待评估标签数据向用户进行特定信息展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或

第二评估单元，用于根据所述待评估标签数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为初始效果数据；其中，任一待评估标签数据中包括用户标识；将所述待评估标签数据、与所述待评估标签数据中的用户标识进行错位处理，根据错位处理得到的数据向用户进行特定信息展示，将该特定信息展示的效果数据确定为错位效果数据；在初始效果数据优于错位效果数据时，将所述待评估标签数据评估为合格。

14.根据权利要求13所述的装置，其特征在于，第一评估单元包括：

第一评估模块，用于根据所述待评估标签数据获取候选特定信息，在候选特定信息中确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格；和/或

第二评估模块，用于将所述待评估标签数据接入预先建立的排序模型；根据预设的召回策略获取候选特定信息，在该候选特定信息中利用该排序模型确定投放特定信息向用户展示；在展示效果数据符合预设的第一判别条件时，将所述待评估标签数据评估为合格。

15.根据权利要求14所述的装置，其特征在于，所述特定信息为广告。

16.根据权利要求15所述的装置，其特征在于，第一评估模块进一步用于：

在预设的第一比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用预设的排序策略确定投放广告向用户展示；在预设的第二比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第一比例小于第二比例；

在第一比例流量的展示效果数据优于第二比例流量的展示效果数据时：在预设的第三比例的流量，根据所述待评估标签数据获取候选广告，在候选广告中利用该排序策略确定投放广告向用户展示；在预设的第四比例的流量，随机获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示；其中，第三比例大于第四比例；

在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

17.根据权利要求16所述的装置，其特征在于，第一评估模块进一步用于：

在所述在第三比例流量的展示效果数据优于第四比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据所述待评估标签数据获取候选广告，在该候选广告中利用该排序策略确定投放广告向用户展示。

18.根据权利要求15所述的装置，其特征在于，第二评估模块进一步用于：

在预设的第五比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第六比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第五比例小于第六比例；

在第五比例流量的展示效果数据优于第六比例流量的展示效果数据时：在预设的第七比例的流量，根据预设的召回策略获取候选广告；在该候选广告中，利用接入所述待评估标签数据的排序模型确定投放广告向用户展示；在预设的第八比例的流量，根据该召回策略获取候选广告；在该候选广告中，利用预先建立的排序模型确定投放广告向用户展示；其中，第七比例大于第八比例；

在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据评估为合格。

19.根据权利要求18所述的装置，其特征在于，第二评估模块进一步用于：

在所述在第七比例流量的展示效果数据优于第八比例流量的展示效果数据时，将所述待评估标签数据确定为合格之后，在全部流量根据预设的召回策略获取候选广告，在该候选广告中利用接入所述待评估标签数据的排序模型确定投放广告向用户展示。

20.根据权利要求15所述的装置，其特征在于，第二评估单元进一步用于：

建立存储待评估标签数据的标签池；

接收对应于任一用户标识的请求，从标签池中随机选取一待评估标签数据与该用户标识进行匹配；将该用户标识对应的待评估标签数据存储在标签池的当前位置；

响应于该请求，利用与该用户标识匹配的待评估标签数据进行广告展示。

21.根据权利要求15所述的装置，其特征在于，所述装置进一步包括线下评估单元，所述线下评估单元用于：

在预先建立的广告效果数据库中：将与所述待评估标签数据包括相同用户标识的数据确定为关联数据，将除关联数据之外的数据确定为非关联数据；

比较关联数据以及非关联数据的展示效果数据；和/或

利用关联数据获取第一点击率预估模型，利用非关联数据获取第二点击率预估模型，比较第一点击率预估模型与第二点击率预估模型的接收者操作特征曲线下面积AUC指标。

22.根据权利要求14所述的装置，其特征在于，所述装置进一步包括：

第三评估单元，用于在所述待评估标签数据的评估结果符合预设的第二判别条件时，将所述待评估标签数据评估为优秀。

23.根据权利要求22所述的装置，其特征在于，所述装置进一步包括标签关联单元，所述标签关联单元用于：

对于评估为优秀的任一待评估标签数据，在预先建立的用户行为数据库中判断是否存在与该待评估标签数据包括相同用户标识的数据：若是，将该待评估标签数据确定为重定向用户数据；否则，将该待评估标签数据确定为非重定向用户数据；其中，任一重定向用户数据对应于用户行为数据库提供的初始标签数据；

对于任一非重定向用户数据，利用相似度哈希Simhash算法确定与该非重定向用户数据的海明距离最小的重定向用户数据，将该重定向用户数据对应的初始标签数据与该非重定向用户数据进行关联。

24.根据权利要求13-23任一所述的装置，其特征在于，展示效果数据、初始效果数据或错位效果数据包括以下至少一种：特定信息展现量、特定信息点击量、基于特定信息的成交总额、以及基于特定信息的收入总额。

25.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。

26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任一所述的方法。