CN114281702A - 信息推送模型测试方法、装置、设备、介质及产品 - Google Patents

Abstract

本发明提供一种信息推送模型测试方法、装置、设备、介质及产品，该方法包括：获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。本发明的信息推送模型测试方法，相比A/B测试方式，占用资源更小。

Description

信息推送模型测试方法、装置、设备、介质及产品

技术领域

本发明涉及信息推送技术领域，尤其涉及一种信息推送模型测试方法、装置、设备、介质及产品。

背景技术

信息推送是通过一定的技术标准或协议，在互联网上通过定期传送用户需要的信息来减少信息过载的一项技术。在信息推送技术领域中，信息推送模型的质量能较大的影响信息推送整体质量的高低。

由于信息推送模型种类较多，且新研发的信息推送模型质量如何，需要进行进一步测试才能知晓。目前主要通过A/B测试(英文全称为：ABTest)的方式来对信息推送模型测试。

A/B测试在进行信息推送模型测试时，由于需要实时对比两个信息推送模型之间的不同，占用资源量较大。

发明内容

本发明提供一种信息推送模型测试方法、装置、设备、介质及产品，用以解决目前A/B测试在进行信息推送模型测试时，由于需要实时对比两个信息推送模型之间的不同，占用资源量较大的问题。

本发明第一方面提供一种信息推送模型测试方法，包括：

获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息为第一信息推送模型生成的；所述第二推送信息为第二信息推送模型生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；

根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；

将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

进一步地，如上所述的方法，所述测试相关信息包括推送信息曝光度和点击通过率；

所述根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量，包括：

根据各所述测试相关信息确定所述第一推送信息对应的第一推送信息曝光度和第一点击通过率；

根据各所述测试相关信息确定所述第二推送信息对应的第二推送信息曝光度和第二点击通过率；

对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较。

进一步地，如上所述的方法，所述对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较，包括：

根据所述第一推送信息曝光度、第一点击通过率以及匹配的各第一预设权值确定第一信息推送质量；

根据所述第二推送信息曝光度、第二点击通过率以及匹配的各第二预设权值确定第二信息推送质量。

进一步地，如上所述的方法，所述获取多个测试用户终端的测试相关信息之前，还包括：

获取多个测试用户终端的标识；

对各所述标识进行哈希处理，以生成对应的哈希值；

根据各所述哈希值从预设数据库中确定匹配的混合插值顺序；所述预设数据库存储有哈希值与混合插值顺序之间的映射关系；

根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息；

发送所述目标推送信息至匹配的各所述测试用户终端。

进一步地，如上所述的方法，所述对各所述标识进行哈希处理，以生成对应的哈希值，包括：

采用MD5(英文全称为：MD5 Message-Digest Algorithm，中文为：信息摘要算法)对各所述标识进行哈希处理，以生成对应的哈希值。

进一步地，如上所述的方法，所述第一推送信息和所述第二推送信息都包括推送数据序列；所述推送数据序列包括多个推送数据；

所述根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息，包括：

按照各所述标识对应的所述混合插值顺序对各所述标识对应的多个推送数据进行融合，以生成目标推送信息。

本发明第二方面提供一种信息推送模型测试装置，包括：

获取模块，用于获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息为第一信息推送模型生成的；所述第二推送信息为第二信息推送模型生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；

比较模块，用于根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；

确定模块，用于将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

进一步地，如上所述的装置，所述测试相关信息包括推送信息曝光度和点击通过率；

所述比较模块具体用于：

根据各所述测试相关信息确定所述第一推送信息对应的第一推送信息曝光度和第一点击通过率；根据各所述测试相关信息确定所述第二推送信息对应的第二推送信息曝光度和第二点击通过率；对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较。

进一步地，如上所述的装置，所述比较模块在对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较时，具体用于：

根据所述第一推送信息曝光度、第一点击通过率以及匹配的各第一预设权值确定第一信息推送质量；根据所述第二推送信息曝光度、第二点击通过率以及匹配的各第二预设权值确定第二信息推送质量。

进一步地，如上所述的装置，所述装置还包括：

推送信息生成模块，用于获取多个测试用户终端的标识；对各所述标识进行哈希处理，以生成对应的哈希值；根据各所述哈希值从预设数据库中确定匹配的混合插值顺序；所述预设数据库存储有哈希值与混合插值顺序之间的映射关系；根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息；发送所述目标推送信息至匹配的各所述测试用户终端。

进一步地，如上所述的装置，所述推送信息生成模块在对各所述标识进行哈希处理，以生成对应的哈希值时，具体用于：

采用MD5信息摘要算法对各所述标识进行哈希处理，以生成对应的哈希值。

进一步地，如上所述的装置，所述第一推送信息和所述第二推送信息都包括推送数据序列；所述推送数据序列包括多个推送数据；

所述推送信息生成模块在根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息时，具体用于：

按照各所述标识对应的所述混合插值顺序对各所述标识对应的多个推送数据进行融合，以生成目标推送信息。

本发明第三方面提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的信息推送模型测试方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的信息推送模型测试方法。

本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的信息推送模型测试方法。

本发明提供的一种信息推送模型测试方法、装置、设备、介质及产品，该方法包括：获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息为第一信息推送模型生成的；所述第二推送信息为第二信息推送模型生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。本发明的信息推送模型测试方法，预先通过混合插值方式根据第一推送信息和第二推送信息生成目标推送信息，然后在发送目标推送信息至测试用户终端后，只需要获取预设时间段内测试用户终端的测试相关信息，即可以根据测试相关信息确定第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型，相比A/B测试方式，占用资源更小。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为可以实现本发明实施例的信息推送模型测试方法的场景图；

图2为本发明第一实施例提供的信息推送模型测试方法的流程示意图；

图3为本发明第二实施例提供的信息推送模型测试方法的流程示意图；

图4为本发明第三实施例提供的信息推送模型测试方法的流程示意图；

图5为本发明第四实施例提供的信息推送模型测试装置的结构示意图；

图6为本发明第五实施例提供的电子设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。ABTest是一种常用的对照实验方法，主要用于产品研发、模型上线的决策。首先将目标用户的用户终端按照随机策略进行实验组、对照组的分组，在控制单一变量的情况下，将实验、对照两组用户分别对应到新、旧两个推荐模型的流量中，进行流量分发，分发后按照各自窗口期流量的评价情况，进行两个模型的效果对比，从而提供推荐模型上线策略进行评估和决策支持。由于需要实时对比两个信息推送模型之间的不同，A/B测试占用资源量较大

所以针对现有技术中A/B测试在进行信息推送模型测试时，由于需要实时对比两个信息推送模型之间的不同，占用资源量较大的问题，发明人在研究中发现，为了解决该问题，可以将测试阶段分为两部分，一部分是生成测试用的目标推送信息，一部分是采集测试用户终端的测试相关信息，并根据测试相关信息确定信息推送模型的质量，以降低占用的资源。

具体的，首先在向测试用户终端发送目标推送信息后，获取预设时间段内多个测试用户终端的测试相关信息。测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的。目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的。第一推送信息为第一信息推送模型生成的。第二推送信息为第二信息推送模型生成的。第一推送信息与第二推送信息之间数据格式相同。根据各测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量。将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

发明人基于上述的创造性发现，提出了本申请的技术方案。

下面对本发明实施例提供的信息推送模型测试方法的应用场景进行介绍。如图1所示，其中，1为电子设备，2为测试用户终端。本发明实施例提供的信息推送模型测试方法对应的应用场景的网络架构中包括：电子设备1和测试用户终端2。测试用户终端2包括测试使用的用户终端A、用户终端B以及用户终端N等。

在需要进行信息推送模型测试时，可以由电子设备1或其他电子设备根据测试用户终端2生成对应的目标推送信息，该目标推送信息由需要测试的第一信息推送模型所生成的第一推送信息和第二信息推送模型所生成的第二推送信息融合而成。融合方式主要是通过混合插值方式。在生成目标推送信息后，由电子设备1或其他电子设备将目标推送信息发送至对应的测试用户终端2。测试用户终端2在接收到目标推送信息后，用户会对其进行对应操作，比如点击、滑动或直接无视等。

在预设时间段后，电子设备1获取预设时间段内多个测试用户终端2如用户终端A-用户终端N的测试相关信息。根据各测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量。最后，电子设备1将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。在确定出目标信息推送模型后，可以输出至模型上线决策平台以进行显示，使工作人员可以知晓该次测试结果或进行后续分析处理等。

下面结合说明书附图对本发明实施例进行介绍。

图2为本发明第一实施例提供的信息推送模型测试方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为信息推送模型测试装置，该信息推送模型测试装置可以集成在电子设备中。则本实施例提供的信息推送模型测试方法包括以下几个步骤：

步骤S101，获取预设时间段内多个测试用户终端的测试相关信息。测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的。目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的。第一推送信息为第一信息推送模型生成的。第二推送信息为第二信息推送模型生成的。第一推送信息与第二推送信息之间数据格式相同。

本实施例中，预设时间段可以为一天、一周等，可以按照实际需求进行设置，本实施例对此不作限定。

混合插值方式是将两个信息推送模型输出的推送信息序列进行混合，一般采用交替混排的方式进行插值。

一般情况下会预先对第一信息推送模型和第二信息推送模型输出的推送信息进行处理，以生成目标推送信息。比如第一推送信息输出的为三种产品顺序为从左至右A、B、C，第一推送信息输出的为三种产品D、E、F，通过混合插值的方式得到的目标推送信息可以是A、E、F，A、B、F等，其中，第一推送信息、第二推送信息与目标推送信息输出格式相同，数据格式代表输出数据的排序、数据数量等都相同。

第一信息推送模型和第二信息推送模型具体是怎么生成推送信息，本实施例对此不作限定，可以是根据用户终端的历史点击记录、用户终端的标识等生成，也可以是按照预设策略生成。

步骤S102，根据各测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量。

本实施例中，测试相关信息可以包括推送信息曝光度、点击通过率等，如果推送信息是推送电影，则还可以包括观看时间等，可以根据推送信息推送的数据不同进行适配性调整。

信息推送质量与测试相关信息相关，一般情况下，推送信息曝光度和点击通过率越高代表信息推送质量越好。

步骤S103，将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

本发明实施例提供的一种信息推送模型测试方法，该方法包括：获取预设时间段内多个测试用户终端的测试相关信息。测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的。目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的。第一推送信息为第一信息推送模型生成的。第二推送信息为第二信息推送模型生成的。第一推送信息与第二推送信息之间数据格式相同。根据各测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量。将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

本发明的信息推送模型测试方法，预先通过混合插值方式根据第一推送信息和第二推送信息生成目标推送信息，然后在发送目标推送信息至测试用户终端后，只需要获取预设时间段内测试用户终端的测试相关信息，即可以根据测试相关信息确定第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型，相比A/B测试方式，不需对分流策略进行配置和干预，无需关心对比实验的时间窗口问题，占用资源更小。

图3为本发明第二实施例提供的信息推送模型测试方法的流程示意图，如图3所示，本实施例提供的信息推送模型测试方法，是在本发明上一实施例提供的信息推送模型测试方法的基础上，对各个步骤进行了进一步的细化。则本实施例提供的信息推送模型测试方法包括以下步骤。

步骤S201，获取预设时间段内多个测试用户终端的测试相关信息。

本实施例中，步骤201的实现方式与本发明上一实施例中的步骤101的实现方式类似，在此不再一一赘述。

需要说明的是，测试相关信息可以包括推送信息曝光度和点击通过率。

步骤S202，根据各测试相关信息确定第一推送信息对应的第一推送信息曝光度和第一点击通过率。

本实施例中，由于目标推送信息是由第一推送信息和第二推送信息确定出来的，目标推送信息可能包含第一推送信息的部分数据和/或第二推送信息的部分数据。因而，需要根据各测试相关信息确定第一推送信息对应的第一推送信息曝光度和第一点击通过率。

假设目标推送信息仅包括第一推送信息中的产品A数据，则产品A数据的曝光度和点击通过率可以等同于第一推送信息曝光度和第一点击通过率。

步骤S203，根据各测试相关信息确定第二推送信息对应的第二推送信息曝光度和第二点击通过率。

本实施例中，本实施例中，由于目标推送信息是由第一推送信息和第二推送信息确定出来的，目标推送信息可能包含第一推送信息的部分数据和/或第二推送信息的部分数据。因而，需要根据各测试相关信息确定第二推送信息对应的第二推送信息曝光度和第二点击通过率。

假设目标推送信息仅包括第二推送信息中的产品B数据，则产品B数据的曝光度和点击通过率可以等同于第二推送信息曝光度和第二点击通过率。

步骤S204，对第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度第二点击通过率进行比较。

本实施例中，对第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度第二点击通过率进行比较是用于确定第一信息推送模型和第二信息推送模型之间信息推送质量。

具体为：

根据第一推送信息曝光度、第一点击通过率以及匹配的各第一预设权值确定第一信息推送质量。

根据第二推送信息曝光度、第二点击通过率以及匹配的各第二预设权值确定第二信息推送质量。

本实施例中，推送信息曝光度和点击通过率可以预先设置对应的权值，比如更看重推送信息曝光度，则可以将信息曝光度权值设置的更大一点。

步骤S205，将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

本实施例中，步骤205的实现方式与本发明上一实施例中的步骤103的实现方式类似，在此不再一一赘述。

图4为本发明第三实施例提供的信息推送模型测试方法的流程示意图，如图4所示，本实施例提供的信息推送模型测试方法，是在本发明上一实施例提供的信息推送模型测试方法的基础上，增加了发送目标推送信息的流程。则本实施例提供的信息推送模型测试方法包括以下步骤。

步骤S301，获取多个测试用户终端的标识。

本实施例中，测试用户终端的标识可以用来确定生成的第一推送信息和第二推送信息，也可以用来在融合第一推送信息和第二推送信息时，提供基础。

步骤S302，对各标识进行哈希处理，以生成对应的哈希值。

本实施例中，假设用户终端标识在进行哈希处理后生成的哈希值为3，则可以选择与3匹配的混合插值顺序来进行后续的融合处理。

同时，进行哈希处理可以采用MD5信息摘要算法对各标识进行哈希处理，以生成对应的哈希值。采用MD5的方式可以更稳定快速的生成对应的哈希值。

步骤S303，根据各哈希值从预设数据库中确定匹配的混合插值顺序。预设数据库存储有哈希值与混合插值顺序之间的映射关系。

本实施例中，根据目标推送信息包含的推送数据数量的不同，哈希值范围也会不同。比如目标推送信息中推送数据为3个，比如推送的产品数量为3个，则哈希值范围可以为0-7，若推送数据为2个，则哈希值范围可以为0-3，哈希值的范围可以遵循0-2^n-1的方式，n为推送数据数量。混合插值顺序与每个哈希值相对应，也会存在2ⁿ个。

步骤S304，根据各标识对应的混合插值顺序对各标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息。

其中，第一推送信息和第二推送信息都包括推送数据序列。推送数据序列包括多个推送数据。

根据各标识对应的混合插值顺序对各标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息，包括：

按照各标识对应的混合插值顺序对各标识对应的多个推送数据进行融合，以生成目标推送信息。

本实施例中，推送数据序列中的推送数据一般情况下按照由左至右的顺序排列，比如第一推送信息输出的为三种产品顺序为从左至右A、B、C，第一推送信息输出的为三种产品D、E、F，通过混合插值的方式得到的目标推送信息可以是A、E、F，A、B、F等。

步骤S305，发送目标推送信息至匹配的各测试用户终端。

在发送目标推送信息至匹配的各测试用户终端后，可以采集预设时间段内各测试用户终端的测试相关信息。

为了更详细的描述信息推送模型测试方法，下面将以推送数据为3个为例进行详细说明。

首先获取两个信息推送模型以及信息推送模型输出的第一推送信息和第二推送信息，其中，需要保证两个信息推送模型输出格式一致。例如，输出格式均为用户终端编号，产品1，产品2，产品3，即信息推送模型向用户推荐3种产品，且这3种产品的推荐顺序是由左到右的(即更优先推荐产品1)，则待比较的两个信息推送模型均需要以此为输出格式。

获取信息推送质量的评价指标，常用的指标有曝光率、CTR(英文全称为：Click-Through-Rate，中文为：点击通过率)、购买成功率等，也可以将这些指标按照实际需求进行进一步加权计算。

混合插值：对需比较的两个信息推送模型(后续简化为A模型、B模型)输出结果进行混合插值与截断。假定对某一个用户，A模型的输出内容是用户终端编号，产品A1，产品A2，产品A3，B模型的输出内容是用户终端编号，产品B1，产品B2，产品B3，则通过混合插值后的输出序列为用户终端编号，产品A1，产品B1，产品A2，产品B2，产品A3，产品B3，但由于输出格式需要与原有输出格式一致，所以将上述输出序列截断，即用户终端编号，产品A1，产品B1，产品A2，作为输出结果。

插值公平性：对于上述插值，需要保持对模型A和模型B曝光的公平性，即最终用户得到的推荐结果，模型A所推荐的与模型B所推荐的应近似相同。在大数据量情况下，采用按顺序随机插值的方法保证公平性，例如，针对用户终端编号，产品1，产品2，产品3类型的输出，如对用户终端编号的值采用MD5算法进行哈希处理，以生成哈希值，哈希值与混合插值方式的对应关系如表1所示。

表1哈希值与混合插值顺序映射表

哈希值	混合插值顺序
		0(000)	用户终端编号-产品A1-产品A2-产品A3
1(001)	用户终端编号-产品A1-产品A2-产品B3
		2(010)	用户终端编号-产品B1-产品A2-产品B3
3(011)	用户终端编号-产品A1-产品B2-产品B3
		4(100)	用户终端编号-产品B1-产品A2-产品A3
5(101)	用户终端编号-产品A1-产品B2-产品A3
		6(110)	用户终端编号-产品B1-产品B2-产品A3
7(111)	用户终端编号-产品B1-产品B2-产品B3

在大数据量情况下，用户的分布符合正态分布，所以这种插值方法能够保证对模型A和模型B的分布公平性

将插值后序列组装成推送信息，下发到推送系统，由推送系统分发到用户终端。插值序列对终端用户透明，对用户无干扰、无侵入，不会降低终端用户体验。

积累了一定时间窗口(如一小时、一天、一周等)的用户行为采集、交易数据等测试相关信息后，即可进行评价指标的分析。评价指标分析主要步骤是：

数据清洗：将上述行为采集、交易数据按照时间窗口进行数据清洗，将不符合要求的数据过滤，将符合要求但信息不完整的数据按照一定规则补全等。

去重计数：将已经清洗的数据按照用户、时间窗口、推荐品类两重维度进行去重，如有业务需要可以在去重的同时进行计数。

汇总：将去重的数据按照时间窗口进行汇总，汇总值作为业务目标数据对比展示。

最后进行多维度的比较，从而从模型A和模型B中确定出信息推送质量更优的模型。

图5为本发明第四实施例提供的信息推送模型测试装置的结构示意图，如图5所示，本实施例中，该信息推送模型测试装置400包括：

获取模块401，用于获取预设时间段内多个测试用户终端的测试相关信息。测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的。目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的。第一推送信息为第一信息推送模型生成的。第二推送信息为第二信息推送模型生成的。第一推送信息与第二推送信息之间数据格式相同。

比较模块402，用于根据各测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量。

确定模块403，用于将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

本实施例提供的信息推送模型测试装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。

同时，本发明提供的信息推送模型测试装置在上一实施例提供的信息推送模型测试装置的基础上，对信息推送模型测试装置进行了进一步的细化。

可选的，本实施例中，测试相关信息包括推送信息曝光度和点击通过率。

比较模块402具体用于：

根据各测试相关信息确定第一推送信息对应的第一推送信息曝光度和第一点击通过率。根据各测试相关信息确定第二推送信息对应的第二推送信息曝光度和第二点击通过率。对第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较。

可选的，本实施例中，比较模块402在对第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较时，具体用于：

根据第一推送信息曝光度、第一点击通过率以及匹配的各第一预设权值确定第一信息推送质量。根据第二推送信息曝光度、第二点击通过率以及匹配的各第二预设权值确定第二信息推送质量。

可选的，本实施例中，信息推送模型测试装置400还包括：

推送信息生成模块，用于获取多个测试用户终端的标识。对各标识进行哈希处理，以生成对应的哈希值。根据各哈希值从预设数据库中确定匹配的混合插值顺序。预设数据库存储有哈希值与混合插值顺序之间的映射关系。根据各标识对应的混合插值顺序对各标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息。发送目标推送信息至匹配的各测试用户终端。

可选的，本实施例中，推送信息生成模块在对各标识进行哈希处理，以生成对应的哈希值时，具体用于：

采用MD5信息摘要算法对各标识进行哈希处理，以生成对应的哈希值。

可选的，本实施例中，第一推送信息和第二推送信息都包括推送数据序列。推送数据序列包括多个推送数据。

推送信息生成模块在根据各标识对应的混合插值顺序对各标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息时，具体用于：

按照各标识对应的混合插值顺序对各标识对应的多个推送数据进行融合，以生成目标推送信息。

本实施例提供的信息推送模型测试装置可以执行图2-图4所示方法实施例的技术方案，其实现原理和技术效果与图2-图4所示方法实施例类似，在此不再一一赘述。

根据本发明的实施例，本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

如图6所示，图6是本发明第五实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，该电子设备包括：处理器501、存储器502。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。

存储器502即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的信息推送模型测试方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的信息推送模型测试方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的信息推送模型测试方法对应的程序指令/模块(例如，附图5所示的获取模块401、比较模块402和确定模块403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信息推送模型测试方法。

同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例一至三的信息推送模型测试方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由权利要求书指出。

应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种信息推送模型测试方法，其特征在于，包括：

获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息为第一信息推送模型生成的；所述第二推送信息为第二信息推送模型生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；

根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；

将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

2.根据权利要求1所述的方法，其特征在于，所述测试相关信息包括推送信息曝光度和点击通过率；

所述根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量，包括：

根据各所述测试相关信息确定所述第一推送信息对应的第一推送信息曝光度和第一点击通过率；

根据各所述测试相关信息确定所述第二推送信息对应的第二推送信息曝光度和第二点击通过率；

对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一推送信息曝光度、第一点击通过率以及第二推送信息曝光度、第二点击通过率进行比较，包括：

根据所述第一推送信息曝光度、第一点击通过率以及匹配的各第一预设权值确定第一信息推送质量；

根据所述第二推送信息曝光度、第二点击通过率以及匹配的各第二预设权值确定第二信息推送质量。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取多个测试用户终端的测试相关信息之前，还包括：

获取多个测试用户终端的标识；

对各所述标识进行哈希处理，以生成对应的哈希值；

根据各所述哈希值从预设数据库中确定匹配的混合插值顺序；所述预设数据库存储有哈希值与混合插值顺序之间的映射关系；

根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息；

发送所述目标推送信息至匹配的各所述测试用户终端。

5.根据权利要求4所述的方法，其特征在于，所述对各所述标识进行哈希处理，以生成对应的哈希值，包括：

采用MD5信息摘要算法对各所述标识进行哈希处理，以生成对应的哈希值。

6.根据权利要求4所述的方法，其特征在于，所述第一推送信息和所述第二推送信息都包括推送数据序列；所述推送数据序列包括多个推送数据；

所述根据各所述标识对应的所述混合插值顺序对各所述标识匹配的第一推送信息和第二推送信息进行混合插值处理，以生成目标推送信息，包括：

按照各所述标识对应的所述混合插值顺序对各所述标识对应的多个推送数据进行融合，以生成目标推送信息。

7.一种信息推送模型测试装置，其特征在于，包括：

获取模块，用于获取预设时间段内多个测试用户终端的测试相关信息；所述测试相关信息为测试用户终端在接收到目标推送信息后，根据用户输入操作所生成的；所述目标推送信息为采用混合插值方式根据第一推送信息和第二推送信息生成的；所述第一推送信息为第一信息推送模型生成的；所述第二推送信息为第二信息推送模型生成的；所述第一推送信息与所述第二推送信息之间数据格式相同；

比较模块，用于根据各所述测试相关信息比较第一信息推送模型和第二信息推送模型之间的信息推送质量；

确定模块，用于将第一信息推送模型和第二信息推送模型之间信息推送质量更好的信息推送模型确定为目标信息推送模型。

8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6任一项所述的信息推送模型测试方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的信息推送模型测试方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的信息推送模型测试方法。

Images