CN110781605A - 广告投放模型测试方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请提供一种广告投放模型测试方法、装置、计算机设备及存储介质，涉及模型测试领域。本申请通过获取目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志，并根据流量处理日志中各流量检测时间戳的广告推送量，计算每个流量检测时间戳的预测时间窗长度，而后根据时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从预测时间窗长度中筛选出与起始时间戳对应的目标时间窗长度，最后将目标时间窗长度与真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格，从而实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率。

Description

广告投放模型测试方法、装置、计算机设备及存储介质

技术领域

本申请涉及模型测试领域，具体而言，涉及一种广告投放模型测试方法、装置、计算机设备及存储介质。

背景技术

随着科学技术的不断发展,模型构建技术在各行各业的应用愈发广泛，其中以宣传推广领域中的广告投放为例，业界主流通过采用模型构建技术构建形成用于实现程序化广告投放的广告投放模型，以提升广告投放效果。而广告投放模型在构建成型后，通常需要开发人员人工地对该广告投放模型进行测试，以确定该广告投放模型的运行逻辑是否存在漏洞，即确定该广告投放模型是否合格。在此过程中，开发人员的工作量大，测试精度不高，且测试效率低，无法快速确定对应的广告投放模型是否合格。

发明内容

有鉴于此，本申请的目的在于提供一种广告投放模型测试方法、装置、计算机设备及存储介质，其能够实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，从而快速确定广告投放模型的运行逻辑是否合格。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种广告投放模型测试方法，所述方法包括：

对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志；

根据所述流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况；

根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度；

根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从所述预测时间窗长度中筛选出与所述起始时间戳对应的目标时间窗长度，并将所述目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

在可选的实施方式中，所述根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度，包括：

针对每个流量检测时间戳，在该流量检测时间戳所对应的异常流量分布状况中确定检测到异常流量的异常次数；

根据所述异常次数及当前剩余的需持续维持第一时间窗长度的时间戳数目，计算当前的需持续维持第一时间窗长度的时间戳总数目，其中每次检测到异常流量时增加需持续维持第一时间窗长度的预设时间戳数目；

检测所述时间戳总数目是否为零；

若所述时间戳总数目不为零，则以第一时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，并将所述时间戳总数目减一，否则以第二时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，其中所述第二时间窗长度大于所述第一时间窗长度。

在可选的实施方式中，所述方法还包括：

若所有真实时间槽的真实时间窗长度与目标时间窗长度一致，则采用与广告投放模拟过程对应的广告投放关键绩效指标信息及模拟广告数据的投放目标信息，对所述流量处理日志记录的每个流量检测时间戳在各流量组处的流量使用信息进行信息认证，并在认证不成功时，判定该目标广告投放模型不合格；

若所有流量检测时间戳的流量使用信息均认证成功，则将所述时间槽迭代日志记录的每个真实时间槽在各流量组处的真实投放状况及真实投放概率，与所述流量处理日志记录的与该真实时间槽的起始时间戳对应的各流量组的真实投放状况及目标投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

在可选的实施方式中，所述方法还包括：

若所有真实时间槽在各流量组处的真实投放状况与目标投放状况一致，且对应的真实投放概率与目标投放概率一致，则针对每个流量检测时间戳，确定该流量检测时间戳所属的真实时间槽，并确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量；

针对每个真实时间槽，计算该真实时间槽的起始时间戳以前的所有历史真实时间槽的总目标推送量及总目标优选量，并根据预设退量比、所述总目标推送量及所述总目标优选量计算该真实时间槽的预测优选量补偿值；

将同一真实时间槽的预测优选量补偿值与由所述时间槽迭代日志记录的真实优选量补偿值进行比较，并在不一致时，判定该目标广告投放模型不合格。

在可选的实施方式中，所述确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量，包括：

针对同一真实时间槽在所述流量处理日志中对应的每个流量检测时间戳，根据所述流量处理日志记录的与该流量检测时间戳对应的流量来源信息，确定该流量检测时间戳所对应的目标流量组，并对该目标流量组的目标推送量加一；

将由所述流量处理日志记录的该流量检测时间戳在该目标流量组处的目标投放随机率与目标投放概率进行比较，并在所述目标投放概率不大于所述目标投放随机率时，对该目标流量组的目标优选量加一。

在可选的实施方式中，所述方法还包括：

若所有真实时间槽的预测优选量补偿值与真实优选量补偿值一致，则针对每个真实时间槽，选取该真实时间槽的起始时间戳以前的个数与预设时间槽数目相同的目标优选量不为零的目标时间槽，计算所有目标时间槽的目标优选量之和，得到该真实时间槽对应的预测优选投放总量；

将同一真实时间槽的预测优选投放总量与由所述时间槽迭代日志记录的真实优选投放总量进行比较，并在不一致时，判定该目标广告投放模型不合格。

在可选的实施方式中，所述方法还包括：

若所有真实时间槽的预测优选投放总量与真实优选投放总量一致，则针对每个真实时间槽，判断该真实时间槽的目标优选量是否等于零，并在等于零时，以预设投放概率作为该真实时间槽的预测投放概率，否则判断该真实时间槽的上一历史真实时间槽的目标推送量是否为零；

若该真实时间槽的上一历史真实时间槽的目标推送量为零，则以所述上一历史真实时间槽的预测投放概率作为该真实时间槽的预测投放概率，否则将该真实时间槽的预测优选量补偿值与零进行比较，并根据比较结果按照与该目标广告投放模型对应的投放概率调整策略，对所述上一历史真实时间槽的预测投放概率进行调整，并以调整得到的投放概率作为该真实时间槽的预测投放概率；

将同一真实时间槽的预测投放概率与由所述时间槽迭代日志记录的真实投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

第二方面，本申请实施例提供一种广告投放模型测试装置，所述装置包括：

广告投放模拟模块，用于对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志；

异常流量确定模块，用于根据所述流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况；

时窗长度预测模块，用于根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度；

时窗比对判断模块，用于根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从所述预测时间窗长度中筛选出与所述起始时间戳对应的目标时间窗长度，并将所述目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

第三方面，本申请实施例提供一种计算机设备，包括处理器及存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现前述实施方式中任意一项所述的广告投放模型测试方法。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的广告投放模型测试方法。

相对于背景技术而言，本申请具有以下有益效果：

本申请通过对目标广告投放模型进行广告投放模拟，得到该模型的流量处理日志及时间槽迭代日志，并根据该流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在预设历史时间段内的异常流量分布状况，而后根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度，并根据时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从预测时间窗长度中筛选出与起始时间戳对应的目标时间窗长度，而后将目标时间窗长度与真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格，从而实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，以达到快速确定广告投放模型的运行逻辑是否合格的效果。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的计算机设备的结构方框示意图；

图2为本申请实施例提供的广告投放模型测试方法的流程示意图之一；

图3为本申请实施例提供的广告投放模型测试方法的流程示意图之二；

图4为本申请实施例提供的广告投放模型测试方法的流程示意图之三；

图5为本申请实施例提供的广告投放模型测试方法的流程示意图之四；

图6为本申请实施例提供的广告投放模型测试方法的流程示意图之五；

图7为本申请实施例提供的广告投放模型测试装置的功能模块示意图之一；

图8为本申请实施例提供的广告投放模型测试装置的功能模块示意图之二。

图标：10-计算机设备；11-存储器；12-处理器；13-通信单元；100-广告投放模型测试装置；110-广告投放模拟模块；120-异常流量确定模块；130-时窗长度预测模块；140-时窗比对判断模块；150-流量信息认证模块；160-投放信息比对模块；170-流量数据确定模块；180-优选补偿计算模块；190-优选补偿比对模块；210-投放总量计算模块；220-投放总量比对模块；230-投放概率预测模块；240-投放概率比对模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1是本申请实施例提供的计算机设备10的结构方框示意图。在本申请实施例中，所述计算机设备10可基于广告投放模型进行广告投放模拟，并相应地实现对该广告投放模型的自动化测试，降低测试过程的人工参与度，提高测试精度及测试效率，从而快速确定广告投放模型的运行逻辑是否合格。在本实施例中，所述计算机设备10可以是，但不限于，个人电脑及服务器等。

在本实施例中，所述计算机设备10包括广告投放模型测试装置100、存储器11、处理器12及通信单元13。所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中，所述存储器11可用于存储程序，所述处理器12在接收到执行指令后，可相应地执行所述程序。其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。

在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)及网络处理器(Network Processor，NP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中，所述通信单元13用于通过网络建立所述计算机设备10与其他设备之间的通信连接，并通过网络收发数据。

在本实施例中，所述广告投放模型测试装置100包括至少一个能够以软件或固件的形式存储于所述存储器11或固化在所述计算机设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述广告投放模型测试装置100所包括软件功能模块及计算机程序等。所述计算机设备10通过所述广告投放模型测试装置100实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，从而快速确定广告投放模型的运行逻辑是否合格。

可以理解的是，图1所示的方框示意图仅为计算机设备10的一种结构组成示意图，所述计算机设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请中，为确保上述计算机设备10能够实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，从而快速确定广告投放模型的运行逻辑是否合格，本申请通过提供应用于上述计算机设备10的广告投放模型测试方法实现上述功能。下面对本申请提供的广告投放模型测试方法进行相应描述。

可选地，请参照图2，图2是本申请实施例提供的广告投放模型测试方法的流程示意图之一。在本申请实施例中，图2所示的广告投放模型测试方法的具体流程和步骤如下文所示。

步骤S310，对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志。

在本实施例中，测试人员可通过针对目标广告投放模型构建不同受众人群的模拟广告数据，并确定该模拟广告数据在进行广告投放时所需达到的广告投放关键绩效指标信息，而后将所述模拟广告数据包及所述广告投放关键绩效指标信息输入到所述目标广告投放模型中，由所述计算机设备10对该目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志。

步骤S320，根据流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况。

在本实施例中，所述流量处理日志记录的相邻两个流量检测时间戳之间的时间间隔数值相等，所述计算机设备10在每个流量检测时间戳所对应的时间点，均会对该流量检测时间戳与上一流量检测时间戳之间的所有流量组各自的推送次数进行记录，从而得到该流量检测时间戳与上一流量检测时间戳之间的所有流量组的推送次数之和，即该流量检测时间戳的广告推送量。当某个流量检测时间戳的广告推送量大于预设推送量阈值时，所述计算机设备10将判定该流量检测时间戳处存在异常流量。其中，每个流量检测时间戳的预设历史时间段为以对应流量检测时间戳为终点的时间长度等于预设时长的时间段，所述预设时长为所述时间间隔数值的整数倍。所述异常流量分布状况包括对应预设历史时间段内检测到异常流量的次数，及每次检测到异常流量时所对应的流量检测时间戳。在本实施例的一种实施方式中，相邻两个流量检测时间戳之间的时间间隔数值为5s，所述预设时长的数值为100s。

步骤S330，根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度。

在本实施例中，所述根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度的步骤，包括：

针对每个流量检测时间戳，在该流量检测时间戳所对应的异常流量分布状况中确定检测到异常流量的异常次数；

根据所述异常次数及当前剩余的需持续维持第一时间窗长度的时间戳数目，计算当前的需持续维持第一时间窗长度的时间戳总数目，其中每次检测到异常流量时增加需持续维持第一时间窗长度的预设时间戳数目；

检测所述时间戳总数目是否为零；

若所述时间戳总数目不为零，则以第一时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，并将所述时间戳总数目减一，否则以第二时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，其中所述第二时间窗长度大于所述第一时间窗长度。

其中，所述第一时间窗长度的数值与所述时间间隔数值相等，所述第二时间窗长度为所述第一时间窗长度的整数倍。所述计算机设备10通过计算所述异常次数与所述预设时间戳数目之间的极值，并将该极值与当前剩余的需维持第一时间窗长度的时间戳数目进行求和运算，得到对应的时间戳总数目。在本实施例的一种实时方式中，所述第一时间窗长度为5s，所述第二时间窗长度为120s，所述预设时间戳数目为10。

步骤S340，根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从预测时间窗长度中筛选出与起始时间戳对应的目标时间窗长度，并将目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

在本实施例中，所述目标广告投放模型在进行广告投放时所使用的时间窗长度配置算法即为所述异常流量分布状况与时间窗长度之间的对应关系，因此针对每个真实时间槽，所述计算机设备10通过在得到的所有预测时间窗长度中筛选出该真实时间槽的起始时间戳对应的目标时间窗长度，并将该目标时间窗长度与该真实时间槽在所述时间槽迭代日志中对应的真实时间窗长度进行比较，以初步判断该目标广告投放模型的运行逻辑是否合格。其中，当所述计算机设备10发现某个真实时间槽的目标时间窗长度与真实时间窗长度不一致时，所述计算机设备10将判定该目标广告投放模型不合格，从而实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，达到快速确定广告投放模型的运行逻辑是否合格的效果。

可选地，请参照图3，图3是本申请实施例提供的广告投放模型测试方法的流程示意图之二。在本申请实施例中，为提高广告投放模型测试流程的测试精度，所述广告投放模型测试方法还可以包括步骤S350及步骤S360。

步骤S350，若所有真实时间槽的真实时间窗长度与目标时间窗长度一致，则采用与广告投放模拟过程对应的广告投放关键绩效指标信息及模拟广告数据的投放目标信息，对流量处理日志记录的每个流量检测时间戳在各流量组处的流量使用信息进行信息认证，并在认证不成功时，判定该目标广告投放模型不合格。

在本实施例中，所述流量使用信息包括各流量组在对应流量检测时间戳与上一流量检测时间戳之间的时间段内的流量投放目标(即流量的受众人群)信息、流量投放平稳度信息、流量投放频次信息及流量投放平台信息。所述计算机设备10通过将对应流量检测时间戳在各流量组处的流量使用信息与所述广告投放关键绩效指标信息及所述模拟广告数据的投放目标信息进行信息匹配，并在不匹配时判定该流量检测时间戳的流量使用信息认证不成功。同时，所述计算机设备10在发现所述流量处理日志记录的某个流量检测时间戳所对应的流量使用信息认证不成功时，判定该目标广告投放模型不合格。

步骤S360，若所有流量检测时间戳的流量使用信息均认证成功，则将时间槽迭代日志记录的每个真实时间槽在各流量组处的真实投放状况及真实投放概率，与流量处理日志记录的与该真实时间槽对应的各流量组的目标投放状况及目标投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

在本实施例中，所述投放状况用于表示对应流量组在对应时间段内进行广告投放操作的具体次数。所述计算机设备10在确定每个真实时间槽的各流量组在所述流量处理日志处的目标投放状况时，通过将所述流量处理日志中对应流量组在位于该真实时间槽内的各流量监测时间戳处的投放次数进行求和运算，得到该流量组在所述流量处理日志处与该真实时间槽对应的目标投放状况。同一流量组在位于同一真实时间槽内的各流量监测时间戳处的投放概率相同。所述计算机设备10通过将每个流量组在相同真实时间槽内的目标投放状况与真实投放状况进行比较，并将每个流量组在相同真实时间槽内的目标投放概率与真实投放概率进行比较，以判断该目标广告投放模型是否合格。其中，当所述计算机设备10发现至少一个流量组在某个真实时间槽所对应的目标投放状况与真实投放状况不一致，和/或目标投放概率与真实投放概率不一致时，判定该目标广告投放模型不合格。

可选地，请参照图4，图4是本申请实施例提供的广告投放模型测试方法的流程示意图之三。在本申请实施例中，为进一步地提高广告投放模型测试流程的测试精度，所述广告投放模型测试方法还可以包括步骤S370、步骤S380及步骤S390。

步骤S370，若所有真实时间槽在各流量组处的真实投放状况与目标投放状况一致，且对应的真实投放概率与目标投放概率一致，则针对每个流量检测时间戳，确定该流量检测时间戳所属的真实时间槽，并确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量。

在本实施例中，所述推送量用于表示对应流量组在某个时间段内接收到流量的次数，所述优选量用于表示对应流量组在某个时间段内所接收到的流量的投放随机率不小于投放概率的次数，其中投放随机率用于表示对应流量组在进行随机投放时的具体状况，投放随机率最大的流量组将用于进行广告投放。所述确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量的步骤，包括：

针对同一真实时间槽在所述流量处理日志中对应的每个流量检测时间戳，根据所述流量处理日志记录的与该流量检测时间戳对应的流量来源信息，确定该流量检测时间戳所对应的目标流量组，并对该目标流量组的目标推送量加一；

将由所述流量处理日志记录的该流量检测时间戳在该目标流量组处的目标投放随机率与目标投放概率进行比较，并在所述目标投放概率不大于所述目标投放随机率时，对该目标流量组的目标优选量加一。

步骤S380，针对每个真实时间槽，计算该真实时间槽的起始时间戳以前的所有历史真实时间槽的总目标推送量及总目标优选量，并根据预设退量比、所述总目标推送量及所述总目标优选量计算该真实时间槽的预测优选量补偿值。

在本实施例中，所述总目标推送量为对应真实时间槽以前的所有历史真实时间槽所对应的各流量组的目标推送量之和，所述总目标优选量为对应真实时间槽以前的所有历史真实时间槽所对应的各流量组的目标优选量之和，所述预设退量比用于表示预设的被回退流量与获得的所有流量的比值。某个真实时间槽的预测优选量补偿值＝(1-预设退量比)*该真实时间槽对应的总目标推送量-该真实时间槽对应的总目标优选量。

步骤S390，将同一真实时间槽的预测优选量补偿值与由时间槽迭代日志记录的真实优选量补偿值进行比较，并在不一致时，判定该目标广告投放模型不合格。

在本实施例中，所述计算机设备10在某个真实时间槽的预测优选量补偿值与真实优选量补偿值不一致时，判定该目标广告投放模型不合格。

可选地，请参照图5，图5是本申请实施例提供的广告投放模型测试方法的流程示意图之四。在本申请实施例中，为进一步地提高广告投放模型测试流程的测试精度，所述广告投放模型测试方法还可以包括步骤S410及步骤S420。

步骤S410，若所有真实时间槽的预测优选量补偿值与真实优选量补偿值一致，则针对每个真实时间槽，选取该真实时间槽的起始时间戳以前的个数与预设时间槽数目相同的目标优选量不为零的目标时间槽，计算所有目标时间槽的目标优选量之和，得到该真实时间槽对应的预测优选投放总量。

在本实施例中，每个时间槽所对应的优选量等于该时间槽所对应的各流量组的优选量之和。在本实施例的一种实施方式中，所述预设时间槽数目为20。

步骤S420，将同一真实时间槽的预测优选投放总量与由时间槽迭代日志记录的真实优选投放总量进行比较，并在不一致时，判定该目标广告投放模型不合格。

在本实施例中，所述计算机设备10在某个真实时间槽的预测优选投放总量与真实优选投放总量不一致时，判定该目标广告投放模型不合格。

可选地，请参照图6，图6是本申请实施例提供的广告投放模型测试方法的流程示意图之五。在本申请实施例中，为进一步地提高广告投放模型测试流程的测试精度，所述广告投放模型测试方法还可以包括步骤S430、步骤S440及步骤S450。

步骤S430，若所有真实时间槽的预测优选投放总量与真实优选投放总量一致，则针对每个真实时间槽，判断该真实时间槽的目标优选量是否等于零，并在等于零时，以预设投放概率作为该真实时间槽的预测投放概率，否则判断该真实时间槽的上一历史真实时间槽的目标推送量是否为零。

在本实施例中，某个时间槽所对应的推送量等于该时间槽所对应的各流量组的推送量之和，某个时间槽所对应的投放概率包括该时间槽下各流量组的投放概率。当某个真实时间槽的目标优选量不为零时，所述计算机设备10将对应计算该真实时间槽的上一历史真实时间槽的目标推送量，并判断该上一历史真实时间槽的目标推送量是否为零。

步骤S440，若该真实时间槽的上一历史真实时间槽的目标推送量为零，则以上一历史真实时间槽的预测投放概率作为该真实时间槽的预测投放概率，否则将该真实时间槽的预测优选量补偿值与零进行比较，并根据比较结果按照与该目标广告投放模型对应的投放概率调整策略，对上一历史真实时间槽的预测投放概率进行调整，并以调整得到的投放概率作为该真实时间槽的预测投放概率。

在本实施例中，所述目标广告投放模型对应的投放概率调整策略可以是：若某个真实时间槽的预测优选量补偿值大于零，则对该真实时间槽的上一历史真实时间槽的预测投放概率进行调高；若某个真实时间槽的预测优选量补偿值等于零，则不对该真实时间槽的上一历史真实时间槽的预测投放概率进行调整；若某个真实时间槽的预测优选量补偿值小于零，则对该真实时间槽的上一历史真实时间槽的预测投放概率进行调低。其中，同一时间槽下的各流量组的投放概率的调高幅度可以相同，也可以不同，具体的调高幅度可根据需求进行不同的配置；同一时间槽下的各流量组的投放概率的调低幅度可以相同，也可以不同，具体的调低幅度可根据需求进行不同的配置。

步骤S450，将同一真实时间槽的预测投放概率与由时间槽迭代日志记录的真实投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

在本实施例中，所述计算机设备10通过将同一真实时间槽下各流量组的预测投放概率与真实投放概率进行比较，并在某个真实时间槽下的至少一个流量组的预测投放概率与真实投放概率不一致时，判定该目标广告投放模型不合格。

在本申请中，为确保所述计算机设备10所包括的广告投放模型测试装置100能够正常实施，本申请通过对广告投放模型测试装置100进行功能模块划分的方式实现其功能。下面对本申请提供的广告投放模型测试装置100的具体组成进行相应描述。

可选地，请参照图7，图7是本申请实施例提供的广告投放模型测试装置100的功能模块示意图之一。在本申请实施例中，所述广告投放模型测试装置100包括广告投放模拟模块110、异常流量确定模块120、时窗长度预测模块130及时窗比对判断模块140。

所述广告投放模拟模块110，用于对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志。

所述异常流量确定模块120，用于根据流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况。

所述时窗长度预测模块130，用于根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度。

所述时窗比对判断模块140，用于根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从预测时间窗长度中筛选出与起始时间戳对应的目标时间窗长度，并将目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

可选地，请参照图8，图8是本申请实施例提供的广告投放模型测试装置100的功能模块示意图之二。在本申请实施例中，所述广告投放模型测试装置100还可以包括：

流量信息认证模块150，用于若所有真实时间槽的真实时间窗长度与目标时间窗长度一致，则采用与广告投放模拟过程对应的广告投放关键绩效指标信息及模拟广告数据的投放目标信息，对流量处理日志记录的每个流量检测时间戳在各流量组处的流量使用信息进行信息认证，并在认证不成功时，判定该目标广告投放模型不合格。

投放信息比对模块160，用于若所有流量检测时间戳的流量使用信息均认证成功，则将时间槽迭代日志记录的每个真实时间槽在各流量组处的真实投放状况及真实投放概率，与流量处理日志记录的与该真实时间槽对应的各流量组的目标投放状况及目标投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

流量数据确定模块170，用于若所有真实时间槽在各流量组处的真实投放状况与目标投放状况一致，且对应的真实投放概率与目标投放概率一致，则针对每个流量检测时间戳，确定该流量检测时间戳所属的真实时间槽，并确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量。

优选补偿计算模块180，用于针对每个真实时间槽，计算该真实时间槽的起始时间戳以前的所有历史真实时间槽的总目标推送量及总目标优选量，并根据预设退量比、所述总目标推送量及所述总目标优选量计算该真实时间槽的预测优选量补偿值。

优选补偿比对模块190，用于将同一真实时间槽的预测优选量补偿值与由时间槽迭代日志记录的真实优选量补偿值进行比较，并在不一致时，判定该目标广告投放模型不合格。

投放总量计算模块210，用于若所有真实时间槽的预测优选量补偿值与真实优选量补偿值一致，则针对每个真实时间槽，选取该真实时间槽的起始时间戳以前的个数与预设时间槽数目相同的目标优选量不为零的目标时间槽，计算所有目标时间槽的目标优选量之和，得到该真实时间槽对应的预测优选投放总量。

投放总量比对模块220，用于将同一真实时间槽的预测优选投放总量与由时间槽迭代日志记录的真实优选投放总量进行比较，并在不一致时，判定该目标广告投放模型不合格。

投放概率预测模块230，用于若所有真实时间槽的预测优选投放总量与真实优选投放总量一致，则针对每个真实时间槽，判断该真实时间槽的目标优选量是否等于零，并在等于零时，以预设投放概率作为该真实时间槽的预测投放概率，否则判断该真实时间槽的上一历史真实时间槽的目标推送量是否为零。

所述投放概率预测模块230，还用于若该真实时间槽的上一历史真实时间槽的目标推送量为零，则以上一历史真实时间槽的预测投放概率作为该真实时间槽的预测投放概率，否则将该真实时间槽的预测优选量补偿值与零进行比较，并根据比较结果按照与该目标广告投放模型对应的投放概率调整策略，对上一历史真实时间槽的预测投放概率进行调整，并以调整得到的投放概率作为该真实时间槽的预测投放概率。

投放概率比对模块240，用于将同一真实时间槽的预测投放概率与由时间槽迭代日志记录的真实投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

需要说明的是，本申请实施例所提供的广告投放模型测试装置100，其基本原理及产生的技术效果与前述的广告投放模型测试方法相同，为简要描述，本实施例部分未提及之处，可参考上述的针对广告投放模型测试方法的相应描述内容。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，在本申请提供的一种广告投放模型测试方法、装置、计算机设备及存储介质中，本申请通过对目标广告投放模型进行广告投放模拟，得到该模型的流量处理日志及时间槽迭代日志，并根据该流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在预设历史时间段内的异常流量分布状况，而后根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度，并根据时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从预测时间窗长度中筛选出与起始时间戳对应的目标时间窗长度，而后将目标时间窗长度与真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格，从而实现广告投放模型测试流程的自动化运行，降低测试过程的人工参与度，并提高测试精度及测试效率，以达到快速确定广告投放模型的运行逻辑是否合格的效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种广告投放模型测试方法，其特征在于，所述方法包括：

对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志；

根据所述流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况；

根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度；

根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从所述预测时间窗长度中筛选出与所述起始时间戳对应的目标时间窗长度，并将所述目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度，包括：

针对每个流量检测时间戳，在该流量检测时间戳所对应的异常流量分布状况中确定检测到异常流量的异常次数；

根据所述异常次数及当前剩余的需持续维持第一时间窗长度的时间戳数目，计算当前的需持续维持第一时间窗长度的时间戳总数目，其中每次检测到异常流量时增加需持续维持第一时间窗长度的预设时间戳数目；

检测所述时间戳总数目是否为零；

若所述时间戳总数目不为零，则以第一时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，并将所述时间戳总数目减一，否则以第二时间窗长度对该流量检测时间戳的预测时间窗长度进行设置，其中所述第二时间窗长度大于所述第一时间窗长度。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

若所有真实时间槽的真实时间窗长度与目标时间窗长度一致，则采用与广告投放模拟过程对应的广告投放关键绩效指标信息及模拟广告数据的投放目标信息，对所述流量处理日志记录的每个流量检测时间戳在各流量组处的流量使用信息进行信息认证，并在认证不成功时，判定该目标广告投放模型不合格；

若所有流量检测时间戳的流量使用信息均认证成功，则将所述时间槽迭代日志记录的每个真实时间槽在各流量组处的真实投放状况及真实投放概率，与所述流量处理日志记录的与该真实时间槽对应的各流量组的目标投放状况及目标投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所有真实时间槽在各流量组处的真实投放状况与目标投放状况一致，且对应的真实投放概率与目标投放概率一致，则针对每个流量检测时间戳，确定该流量检测时间戳所属的真实时间槽，并确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量；

针对每个真实时间槽，计算该真实时间槽的起始时间戳以前的所有历史真实时间槽的总目标推送量及总目标优选量，并根据预设退量比、所述总目标推送量及所述总目标优选量计算该真实时间槽的预测优选量补偿值；

将同一真实时间槽的预测优选量补偿值与由所述时间槽迭代日志记录的真实优选量补偿值进行比较，并在不一致时，判定该目标广告投放模型不合格。

5.根据权利要求4所述的方法，其特征在于，所述确定每个真实时间槽在所述流量处理日志中与各流量组对应的目标推送量及目标优选量，包括：

针对同一真实时间槽在所述流量处理日志中对应的每个流量检测时间戳，根据所述流量处理日志记录的与该流量检测时间戳对应的流量来源信息，确定该流量检测时间戳所对应的目标流量组，并对该目标流量组的目标推送量加一；

将由所述流量处理日志记录的该流量检测时间戳在该目标流量组处的目标投放随机率与目标投放概率进行比较，并在所述目标投放概率不大于所述目标投放随机率时，对该目标流量组的目标优选量加一。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所有真实时间槽的预测优选量补偿值与真实优选量补偿值一致，则针对每个真实时间槽，选取该真实时间槽的起始时间戳以前的个数与预设时间槽数目相同的目标优选量不为零的目标时间槽，计算所有目标时间槽的目标优选量之和，得到该真实时间槽对应的预测优选投放总量；

将同一真实时间槽的预测优选投放总量与由所述时间槽迭代日志记录的真实优选投放总量进行比较，并在不一致时，判定该目标广告投放模型不合格。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所有真实时间槽的预测优选投放总量与真实优选投放总量一致，则针对每个真实时间槽，判断该真实时间槽的目标优选量是否等于零，并在等于零时，以预设投放概率作为该真实时间槽的预测投放概率，否则判断该真实时间槽的上一历史真实时间槽的目标推送量是否为零；

若该真实时间槽的上一历史真实时间槽的目标推送量为零，则以所述上一历史真实时间槽的预测投放概率作为该真实时间槽的预测投放概率，否则将该真实时间槽的预测优选量补偿值与零进行比较，并根据比较结果按照与该目标广告投放模型对应的投放概率调整策略，对所述上一历史真实时间槽的预测投放概率进行调整，并以调整得到的投放概率作为该真实时间槽的预测投放概率；

将同一真实时间槽的预测投放概率与由所述时间槽迭代日志记录的真实投放概率进行比较，并在不一致时，判定该目标广告投放模型不合格。

8.一种广告投放模型测试装置，其特征在于，所述装置包括：

广告投放模拟模块，用于对目标广告投放模型进行广告投放模拟，得到该目标广告投放模型在广告投放模拟过程中的流量处理日志及时间槽迭代日志；

异常流量确定模块，用于根据所述流量处理日志记录的每个流量检测时间戳的广告推送量，确定每个流量检测时间戳在其对应的预设历史时间段内的异常流量分布状况；

时窗长度预测模块，用于根据预设的异常流量分布状况与时间窗长度之间的对应关系，计算每个流量检测时间戳的预测时间窗长度；

时窗比对判断模块，用于根据所述时间槽迭代日志记录的每个真实时间槽的起始时间戳及真实时间窗长度，从所述预测时间窗长度中筛选出与所述起始时间戳对应的目标时间窗长度，并将所述目标时间窗长度与所述真实时间窗长度进行比较，并在两者不一致时，判定该目标广告投放模型不合格。

9.一种计算机设备，其特征在于，包括处理器及存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现权利要求1-7中任意一项所述的广告投放模型测试方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-7中任意一项所述的广告投放模型测试方法。

Images