CN112734497A - 广告回流链路的数据诊断方法、装置、电子设备及介质 - Google Patents

Abstract

本申请实施例公开了一种广告回流链路的数据诊断方法、装置、电子设备及介质，应用于数据处理技术领域。其中方法包括：获取目标广告的特征信息，并根据特征信息确定待获取的指标数据的类型，根据类型获取广告回流链路中目标广告的指标数据，根据目标广告的指标数据确定至少一个指标，根据至少一个指标得到广告回流链路的诊断信息。采用本申请实施例，可以提升对广告回流链路中的异常检测的可靠性。本申请可涉及区块链技术，如可将诊断信息写入区块链中。

Description

广告回流链路的数据诊断方法、装置、电子设备及介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种广告回流链路的数据诊断方法、装置、电子设备及介质。

背景技术

目前在广告投放过程中，发明人意识到，目前一般是从系统层面对其中的部分模块进行监控，判断模块的稳定性以监测是否有异常发生，无法对广告回流链路中出现的异常进行检测，检测可靠性较差。

发明内容

本申请实施例提供了一种广告回流链路的数据诊断方法、装置、电子设备及介质，可以及时获取广告回流链路中的异常信息，提升异常检测的可靠性。

一方面，本申请实施例提供了一种方法，所述方法包括：

获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

根据所述目标广告的指标数据确定至少一个指标；

根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

一方面，本申请实施例提供了一种装置，所述装置包括：

获取模块，用于获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

所述获取模块，还用于根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

确定模块，用于根据所述目标广告的指标数据确定至少一个指标；

处理模块，用于根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

一方面，本申请实施例提供了一种电子设备，其特征在于，所述电子设备包括处理器和存储装置，所述处理器与所述存储装置相互连接，其中，所述存储装置用于存储计算机程序指令，所述处理器被配置用于执行该计算机程序指令实现上述方法中的部分或全部步骤。

一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行上述方法中的部分或全部步骤。

本申请实施例中，电子设备获取目标广告的特征信息，并根据特征信息确定待获取的指标数据的类型，并根据类型获取广告回流链路中目标广告的指标数据，根据目标广告的指标数据确定至少一个指标，并根据至少一个指标得到所述广告回流链路的诊断信息。通过实施上述方法，可以提升对广告回流链路中的异常检测的可靠性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种广告回流链路示意图；

图2为本申请实施例提供的一种广告回流链路的数据诊断方法流程示意图；

图3a为本申请实施例提供的一种指标可视化展示示意图；

图3b为本申请实施例提供的另一种指标可视化展示示意图；

图3c为本申请实施例提供的又一种指标可视化展示示意图；

图4为本申请实施例提供的一种应用架构示意图；

图5为本申请实施例提供的又一种指标可视化展示示意图；

图6为本申请实施例提供的又一种指标可视化展示示意图；

图7a为本申请实施例提供的又一种指标可视化展示示意图；

图7b为本申请实施例提供的又一种指标可视化展示示意图；

图8为本申请实施例提供的又一种指标可视化展示示意图；

图9a为本申请实施例提供的又一种指标可视化展示示意图；

图9b为本申请实施例提供的又一种指标可视化展示示意图；

图10为本申请实施例提供的一种诊断报告示意图；

图11为本申请实施例提供的一种广告回流链路的数据诊断装置的结构示意图；

图12为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

本申请实施例提出一种广告回流链路的数据诊断方法，可以获取广告回流链路中的指标数据，并根据指标数据得到至少一个指标，从而根据至少一个指标获取广告回流链路的诊断信息。由此可以提升对广告回流链路中的异常检测的可靠性。

本申请的技术方案可实现于电子设备，该电子设备可以是终端，也可以是服务器，或者也可以是用于广告回流链路的数据诊断方法的其他设备，本申请在此不做任何限定。其中，所述终端可以包括智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑等等。

可选的，本申请的技术方案可以具体应用于oCPX广告回流链路中。其中，oCPX是可优化转化效果的各种CPX模式，即广告平台会在传统模式结算的基础之上，加入相应的数据或算法，以实现广告投放的转化效果的进一步优化。o是Optimized，即优化。CPX是指按不同方式进行结算的模式，例如，CPC(Cost Per Click，按点击付费)、CPM(Cost Per Mille，按千次曝光付费)、CPA(Cost Per Action，按转化效果付费)。

可选的，本申请涉及的广告回流链路可以是指转化发生后数据回流到广告平台的路径。如图1所示，图1是oCPX广告回流链路示意图。图1中的点击转发、效果接入、转化归因是广告回流链路中的重要环节。因此，确保广告回流链路的质量则是对图1中的三个环节(即点击转发、效果接入、转化归因)中的指标进行异动分析，实时检测是否发生异常并处理并从而保障广告回流链路的质量。其中，点击转发，即当用户进行了点击广告行为时，广告平台将相应的点击转发到该广告所配置的监测地址，进而对广告投放的执行情况进行评测，以及在产生转化时基于转化发生的设备和时间去匹配具体的产生转化的点击行为。对于在多个广告平台投放广告的广告主来说，给转化匹配到具体的某个点击可以帮助广告主对广告投放成本进行评估。效果接入，即通过广告回流链路将点击以及点击带来的转化的效果数据回传给广告平台，广告平台可以通过算法或模型对广告投放的数据进行优化迭代。目前实现效果数据的上报的主要方式有API、SDK和JS三种方式。例如，JS方式为，在投放广告的页面增加监控脚本，当在该页面进行了点击动作(如点击提交，注册等按钮)时，会触发监测模块上报效果数据。效果归因，即广告平台对广告主报上来的转化数据归因到某一个真实的曝光、点击或关注等点击行为上，以此判断广告主所报上来的转化数据是否真实有效，并用归因后的真实的转化量来计算广告的成本和了解广告达成的情况。转化效果，即广告投放后达成的效果，如app下载安装、注册等。

从广告的展现到用户的点击、再到产生的转发以及效果的归因，再到最后数据回流到广告平台侧，整个链路的多个环节不是割裂的，而是有着紧密的联系，整个链路的多个环节中的异常可能会相互影响。由此可获取点击转发指标数据、广告转化指标数据，以及转化归因指标数据来进行诊断。

可选的，本申请涉及的数据如广告回流链路的指标数据、和/或，广告回流链路的诊断信息，和/或，广告回流链路的诊断报告等，可以存储于数据库中，或者可以存储于区块链中，如通过区块链分布式系统存储，本申请不做限定。

其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。例如，在本申请中，可以通过区块链提供数据存储功能，并可将存储的数据提供给广告主、数据平台等相关业务方。

可选的，可以将本申请涉及的目标广告的指标数据存储于区块链中，以及获取目标广告的广告标识，并将目标广告的广告标识和对应的诊断信息关联存储于区块链中。其中，广告标识可以是不同广告的标识不同，还可以是针对广告主的标识，即不同广告主的标识不同，同一广告主的一种或多种广告的标识相同。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

基于上述的描述，本申请实施例提出的一种广告回流链路的数据诊断方法，该方法可以由上述提及的电子设备来执行，此处描述将以终端为例进行说明。如图2所示，本实施例中的广告回流链路的数据诊断方法的流程可以包括：

S201、获取目标广告的特征信息，并根据特征信息确定待获取的指标数据的类型。

可选的，目标广告可以是指任一广告，或者可以是某一广告主的所有广告，或者可以是当前的所有广告(所有广告主投放的所有广告)，或者可以某一指定类型的广告，等等，此处不一一列举。特征信息可以指示待获取的指标数据的类型，如可包括转化模式、广告类型、标签和/或所属领域，指标数据的类型可包括点击转发类型、广告转化类型和/或转化归因类型等等，本申请不做限定。

在一种可能的实施方式中，特征信息可以是指目标广告对应的转化模式，即目标转化模式，确定待获取的指标数据的具体方式可以是，终端获取目标广告对应的目标转化模式，并根据转化模式和指标数据类型的对应关系，确定目标转发模式对应的指标数据类型，并将目标转发模式对应的指标数据类型作为待获取的指标数据的类型。其中，目标转化模式可以是指广告按不同方式进行结算的模式，比如CPC模式、CPM模式或者CPA模式等。

可选的，不同的转化模式可以对应一种或多种指标数据类型。例如，假设CPC模式对应点击转发类型；CPA模式对应广告转化类型，或者，CPA模式对应点击转发类型和广告转化类型。当目标广告的转化模式为CPC模式时，待获取的指标数据的类型为点击转发类型；当目标广告的转化模式为CPA模式时，待获取的指标数据的类型为广告转化类型，或者，待获取的指标数据的类型为点击转发类型和广告转化类型。

在一种可能的实施方式中，特征信息还可以是用户设置，确定待获取的指标数据的具体方式可以是，终端获取用户针对目标广告的获取请求，并基于用户的获取请求确定待获取的指标数据的类型。其中，获取请求可以包括用户针对目标广告设置的所要获取的指标数据类型。例如，对于目标广告，用户设置所要获取的指标数据类型为转化归因指标数据，终端接收到请求后则将转化归因指标数据作为待获取的指标数据的类型。

S202、根据类型获取广告回流链路中目标广告的指标数据。

其中，目标广告的指标数据可以包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据，其中，点击转发指标数据可以是广告回流链路中点击转发环节中的指标数据，广告转化指标数据可以是广告回流链路中效果接入环节的指标数据，转化归因指标数据可以是广告回流链路中转化归因环节的指标数据。

在一种可能的实施方式中，终端获取广告回流链路的指标数据具体方式可以为，终端分别获取目标广告的指标数据所对应的日志数据，并对该日志数据进行处理，得到目标广告的指标数据。可选的，获取日志数据的方式可以是利用数据处理框架进行获取，其中，数据处理框架可以是spark框架(分布式运算框架)，通过该spark框架可以实现实时获取广告的指标数据，如点击转发、效果接入，及转化归因中的日志数据。由此可以提升指标数据的获取效率和可靠性。

进一步可选的，对日志数据进行处理，得到目标广告的指标数据之后，还可将该目标广告的指标数据发送至第一集群，以对该目标广告的指标数据进行存储。其中，第一集群可以是kafka集群，kafka集群用于存储广告回流链路中的日志数据、处理日志数据得到指标数据，以及存储指标数据。可选的，还可以使用clickhouse、pivot等数据存储平台进行指标数据的存储。由此可以降低电子设备的存储空间要求，提升数据存储的可靠性和容错性。

在一种可能的实施方式中，根据类型获取目标广告的指标数据具体可以是，终端根据目标广告对应的待获取的指标数据的类型从第一集群中获得广告回流链路中目标广告的指标数据。

在一种可能的实施方式中，日志数据包括点击转发日志数据、广告转化日志数据和转化归因日志数据，目标广告的指标数据包括点击转发指标数据、广告转化指标数据和转化归因指标数据。对日志数据进行处理，得到目标广告的指标数据具体可以是，从日志数据中获取维度数据并按照时间粒度进行聚合得到指标数据。具体可以是，从点击转发日志数据中获取第一维度数据，并按照第一时间粒度对第一维度数据进行聚合，得到点击转发指标数据，从广告转化日志数据中获取第二维度数据，并按照第二时间粒度对第二维度数据进行聚合，得到广告转化指标数据，以及从转化归因日志数据中获取第三维度数据，并按照第三时间粒度对第三维度数据进行聚合，得到转化归因指标数据。

在一种可能的实施方式中，从点击转发日志数据中获取的第一维度数据可以是广告主标识、广告标识、设备填充标识、转发结果标识、转发延迟等维度数据。按照第一时间粒度对第一维度数据进行聚合可以是按照预先设置好的时间粒度进行聚合，例如，将第一维度数据按照5分钟粒度做聚合，从而得到点击转发指标数据。

在一种可能的实施方式中，从广告转化日志数据中获取的第二维度数据可以是上报账号、数据源标识、上报行为、归因量、上报量等维度数据。按照第二时间粒度对第二维度数据进行聚合可以是按照预先设置好的时间粒度进行聚合，例如，将第二度数据按照5分钟粒度做聚合，从而得到广告转化指标数据。

在一种可能的实施方式中，从转化归因日志数据中获取的第三维度数据可以是上报账号、数据源标识等归因前维度数据，以及归因后的广告标识、广告主标识、归因结果标识等归因后维度数据，其中，获取归因前维度数据是用于跟数据接入阶段的指标数据对齐。按照第三时间粒度对第三维度数据进行聚合可以是按照预先设置好的时间粒度进行聚合，例如，将第三度数据按照5分钟粒度做聚合，从而得到转化归因指标数据。

可选的，第一时间粒度、第二时间粒度、第三时间粒度可以相同，也可以不相同。

可选的，在一种可能的实施方式中，根据目标广告对应的待获取的指标数据的类型，从第一集群中获取广告回流链路中目标广告的指标数据，并发送至数据处理集群，数据处理集群用于对获取的广告回流链路中目标广告的指标数据进行计算得到至少一个指标。

S203、根据目标广告的指标数据确定至少一个指标。

其中，根据目标广告的指标数据确定的指标可以为一个或多个。可选的，本申请涉及的指标可以是点击转发阶段的点击转发总量、点击转发成功率、点击转发覆盖率等，也可以是效果接入阶段的上报成功率、参数校验错误量等，还可以是转化归因阶段的归因成功率、归因失败量等，此处不做限制。

在一种可能的实施方式中，终端根据目标广告的指标数据确定至少一个指标的具体方式可以是，终端将目标广告的指标数据流式导入至数据处理集群，并基于数据处理集群对广告回流链路的指标数据进行计算，得到至少一个指标。其中，数据处理集群可以是Druid集群，Druid集群用于对数据进行实时处理和分析，终端可以利用Druid集群的KafkaIndexing Service(Kafka索引服务)功能将Kafka集群中存储的广告回流链路的指标数据流式导入到Druid集群中。对广告回流链路的指标数据进行计算得到至少一个指标可以是采用增量算法处理实时导入Druid集群的广告回流链路的指标数据，进而终端可以实时获取广告回流链路中至少一个指标的指标结果，减小延迟、增强实时性。可选的，终端还可以对实时计算得到的指标结果进行可视化展示，即展示至少一个指标的趋势图。可选的，还可以使用storm(分布式实时大数据处理平台)对广告回流链路的指标数据进行实时计算，从而得到至少一个指标的实时结果。

进一步的，由于指标数据流式导入时可能难以保证精确一次语义(即exactly-once语义)，当指标数据在传送时，若发生故障，指标数据可能存在丢失而不准确。由此，在一种可能的实施方式中，在获取到目标广告的指标数据之后，还可以将目标广告的指标数据发送至离线计算平台进行指标计算，并可接收该离线计算平台对目标广告的指标数据的计算结果。其中，该计算结果可包括至少一个指标。进而可利用该计算结果包括的至少一个指标对根据目标广告的指标数据确定的至少一个指标进行更新，得到更新后的至少一个指标，然后可根据更新后的至少一个指标的指标结果，确定广告回流链路中的诊断信息。其中，该离线计算平台可用于对目标广告的指标数据进行离线计算，即重新计算，从而得到计算结果。可选的，该离线计算平台可以是MapReduce，该平台可用于批量数据处理。例如，通过离线计算平台获得计算结果的具体方式可以是，将导入Druid集群且已进行计算的目标广告的指标数据发送至MapReduce，形成指标数据segment(即数据集)，通过MapReduce定时对指标数据segment进行重新计算(也叫离线计算)，重新计算后，会得到该指标的新的计算结果(即离线计算结果)。其中，该新的计算结果包括至少一个指标，且该新的计算结果可能与实时计算出的指标结果相同，也可能不相同。

可选的，利用计算结果包括的至少一个指标(即离线计算得到的至少一个指标)对根据目标广告的指标数据确定的至少一个指标(如实时计算得到的至少一个指标的指标)进行更新，可以是指利用离线计算得到的至少一个指标的指标结果对实时计算得到的至少一个指标进行覆盖，或者可以是将离线计算得到的至少一个指标的指标结果与实时计算得到的至少一个指标进行合并，或者还可以是其他更新方式。

例如，在一种可能的实施方式中，利用计算结果包括的至少一个指标对根据目标广告的指标数据确定的至少一个指标进行更新，得到更新后的至少一个指标具体方式可以是，利用离线计算平台的计算结果中包括的至少一个指标去覆盖(或称为替换)根据目标广告的指标数据确定的至少一个指标，即，更新后的至少一个指标的最终指标结果由离线计算平台的计算结果确定。例如，终端接收离线计算平台对目标广告的指标数据的计算结果后，可以将进行过重新计算的指标数据segment此前的实时指标结果作为指标数据segment的历史指标结果并丢弃，用重新计算得到的指标结果去覆盖该指标数据segment的历史指标结果，得到至少一个指标的指标结果。

又如，在一种可能的实施方式中，根据目标广告的指标数据确定的至少一个指标是通过实时计算得到的，基于离线计算平台得到的计算结果包括的至少一个指标是通过离线计算得到的，得到更新后的至少一个指标具体方式还可以是：当接收到离线计算平台对目标广告的指标数据的计算结果时，将该计算结果包括的至少一个指标与根据目标广告的指标数据确定的至少一个指标进行对比，若对比结果表示离线计算得到的至少一个指标的指标结果与实时计算得到的至少一个指标的指标结果的差异在正常范围内(该正常范围可预先设置得到，或者通过统计正常指标范围确定出，此处不做限定)，可以选择不对该至少一个指标进行更新，即，此处更新后的至少一个指标仍为实时计算得到的至少一个指标的指标结果，或者，可利用离线计算得到的至少一个指标的指标结果对实时计算得到的至少一个指标的指标结果进行覆盖，即此处更新后的至少一个指标为离线计算得到的至少一个指标，或者，可以对离线计算得到的至少一个指标和实时计算得到的至少一个指标进行处理，得到处理后的至少一个指标，该处理可以是取两种计算得到的至少一个指标的均值(同一指标取均值)，并利用处理后的至少一个指标对实时计算得到的至少一个指标进行覆盖，即此处更新后的至少一个指标为处理后的至少一个指标；若对比结果表示离线计算得到的至少一个指标的指标结果与实时计算得到的至少一个指标的指标结果的差异不在正常范围内，或者，两种计算得到的至少一个指标有明显差异(如任一相同指标差值超过阈值，或者指标差值超过阈值的指标数目大于预设数目阈值等等)时，可以利用离线计算得到的至少一个指标的指标结果对实时计算得到的至少一个指标的指标结果进行覆盖。

又如，在一种可能的实施方式中，得到更新后的至少一个指标具体方式还可以是，根据目标广告的指标数据类型，或者由用户指定的方式确定至少一个指标的更新方式。例如，若目标广告的指标数据类型为点击转发指标数据，则选择不对根据目标广告的指标数据确定的至少一个指标进行更新，即，此处更新后的至少一个指标仍为根据目标广告的指标数据确定的至少一个指标，若目标广告的指标数据类型为转化归因指标数据，利用离线计算平台的计算结果中包括的至少一个指标去覆盖根据目标广告的指标数据确定的至少一个指标，即此处更新后的至少一个指标为离线计算平台的计算结果中包括的至少一个指标。又如，用户指定利用离线计算平台的计算结果中包括的至少一个指标去覆盖根据目标广告的指标数据确定的至少一个指标，则此处更新后的至少一个指标为离线计算平台的计算结果中包括的至少一个指标，等等，此处不一一列举。

可以理解，在一些实施例中，该根据目标广告的指标数据确定的至少一个指标可以为离线计算平台计算得到的至少一个指标，即在获取该至少一个指标时，可以直接将目标广告的指标数据发送至离线计算平台进行指标计算，以得到该至少一个指标，此处不赘述。由此有助于提升指标确定的可靠性。

可选的，还可以对至少一个指标的指标结果进行可视化展示，即对展示的至少一个指标的实时趋势图进行更新，获得至少一个指标的最终趋势图。例如，离线计算可用于对实时计算过程中的至少一个指标的指标结果进行相应的修正，若在实时计算过程中发生数据丢失，或计算错误等故障时，在进行重新计算时可以对指标结果进行修正，并基于修正后的指标结果更新至少一个指标的趋势图，从而得到至少一个指标正确的指标结果和趋势图。

可选的，可以是当到达触发条件后再进行指标数据的重新计算。其中，触发条件可以是当得到的至少一个指标发生明显异常(如指定指标1大于阈值，又如指定指标2小于阈值，等等)，或是发生大量指标数据丢失，或是接收到用户发送的重新计算请求，等等。

例如，如图3a所示，为点击转发成功量的趋势图，9:00-9:15、9:15-9:30时间段是当前实时计算出来的指标结果，又图3b所示，通过MapReduce对9:00-9:15时间段的指标数据进行重新计算，得到9:00-9:15时间段的离线的指标结果，由此可以看出，实时计算的指标结果跟重新计算的指标结果不同，即在实时计算过程中，可能计算错误、数据传输有误等原因导致实时计算的指标结果有误，然后用9:00-9:15时间段的离线的指标结果去覆盖9:00-9:15时间段的实时的指标结果，由此得到该指标最终正确的结果趋势图，即如图3c所示，此时，由于通过MapReduce计算有一定的延迟，所以9:15-9:30时间段仍然是以实时的指标结果进行展示。

S204、根据至少一个指标得到广告回流链路的诊断信息。

在一种可能的实施方式中，终端可以对至少一个指标进行在线实时分析，发现至少一个指标有无异常，若至少一个指标发生异常，则生成对应的诊断信息。其中，判断有无异常可以是，判断至少一个指标是否超出预设的波动范围，若超出预设的波动范围，则生成对应的诊断信息。判断有无异常还可以是，根据设计的检测点，根据至少一个指标得到基准值(即benchmark)，例如，根据至少一个指标得到该指标的排名、行业均值等，从而生成诊断信息。其中，在线实时分析可以是OLAP分析，OLAP分析相较于hive进行离线的跑表分析指标数据，效率更高，以及及时确定目标广告在广告回流链路中的异常。

可选的，在一种可能的实施方式中，在生成诊断信息后，终端可以将诊断信息发送至第二集群进行存储。其中，第二集群可以是Elastic search集群，Elastic search集群用于，可供用户随时对诊断信息进行查询。

在一种可能的实施方式中，当终端检测到用户针对诊断信息的查询请求时，调用诊断服务接口从第二集群中获取诊断信息，终端基于诊断信息生成相应的诊断报告，并将相应的诊断报告发送至用户。其中，发起查询请求的用户可以是广告主、广告平台的运营等，本申请对发起查询请求的用户不做限制。

可选的，生成的诊断报告用于记录广告回流链路中出现的异常信息，以及根据异常信息生成的对应的改进建议。

例如，如表1所示，表1为广告回流链路中的三个环节可能出现的异常以及对应的建议，即分别在点击转发、广告转化、转化归因三个阶段设计检测点、检测的指标，以及检测方法，进而生成对应的检测建议。其中，提示的对象可以是广告主、广告平台的运营等。

表1

下面以将本申请实施例所提出的广告回流链路的数据诊断方法应用于具体的场景为例，对本申请的技术方案进行阐述。其中，请参见图4，图4为本申请的技术方案所应用的具体架构，且图4涉及到的具体框架、集群、平台等仅为可以实现本申请实施例的其中一种方案，不对本申请实施例构成限制。

基于图4所示的本申请的技术方案所应用的具体架构可以包括上游日志接入层、指标数据抽取层、指标数据诊断层，以及指标诊断展示层，以及广告回流链路涉及的三个环节具体可以是点击转发、效果接入，以及转化归因。

可选的，上游日志接入层主要是根据本申请涉及的三个环节接入相应的日志数据，即点击转发日志数据、效果接入日志数据，以及转化归因日志数据。对于点击转发日志数据和效果接入日志数据，终端可以通过TDbank(实时数据接入系统)实时采集，该两类日志数据遵循ProtoBuf协议。对于转化归因日志数据，终端可以以分钟级写入HDFS分布式系统，将日志数据分开获取以及处理可以分担数据存储的空间和压力。

可选的，数据抽取平台层主要是消费上游的日志数据，即从日志数据中获取维度数据并按照指定的时间粒度进行聚合。终端可以利用oceanus数据计算平台从点击转发日志数据中获取点击转发指标数据，以及从效果接入日志数据中获取效果接入指标数据，终端利用seagull数据计算平台从转化归因日志数据中获取转化归因指标数据。其中，oceanus数据计算平台是一个实时流计算平台。seagull数据计算平台是基于spark开发的数据计算框架，可以消费指定的HDFS日志数据，以及从日志数据中抽取维度数据，并按照指定的时间粒度聚合维度数据，从而得到相应的指标数据。

可选的，指标数据诊断层用于根据指标数据得到至少一个指标、以及根据至少一个指标得到的诊断信息。该层主要使用的是Druid集群，Druid集群采用的是Lamdba框架，Lamdba框架可以保障分析探索功能的低延时、数据准确可靠、故障快速恢复，数据抽取平台层的指标数据存储于kafka集群中，再由kafka集群流式导入Druid集群实现指标数据的实时计算，得到至少一个指标的实时指标结果，并通过Druid集群对至少一个指标的实时指标结果进行OLAP分析(联机分析处理)，得到诊断信息。或者，对指标数据的实时计算后，通过MapReduce离线计算平台对已实时计算的指标数据进行重新计算，由此得到至少一个指标的最终指标结果，然后再通过Druid集群对至少一个指标的最终指标结果进行OLAP分析(联机分析处理)，得到诊断信息，并将诊断信息导入指标数据诊断层中的Elastic search集群中。

可选的，指标诊断展示层用于将指标数据诊断层中的存储的至少一个指标的指标结果、分析得到的诊断信息，以及对应的诊断报告等进行可视化展示。即，该层提供了看板配置功能，可以在该层配置分析看板的指标，然后该层会基于配置，从上游的Druid集群中获取指标的结果，并展示指标的趋势图，以及该层还提供了广告诊断模块，即用户可以在该层发起针对诊断信息的查询请求，广告诊断模块会基于用户的查询，调用诊断服务接口从上游的Elastic search集群获取相应的诊断信息，广告诊断模块会生成对应的诊断报告，并向用户进行展示。

例如，如图5所示，在点击转发阶段，指标分析诊断展示台有点击转发工具，使用该工具可以从上游的Druid集群中获取指定指标的结果，并展示相应的趋势图，图5示例性的展示了数据转发指标中的数据转发总量、数据转发成功量的可视化界面，以及数据转发业务相关指标中的dest_url填充率、deeplink_url填充率的可视化界面，当指标出现异常时，可以通过下钻分析展示对应的诊断报告。除此之外，还可以对数据转发指标中的点击转发平均时延、数据转发成功率、点击转发失败量，以及数据转发业务相关指标中的点击时间填充率进行可视化展示。

又如，在点击转发阶段，设备填充率关系到广告主通过设备能匹配到广告平台所带来的转化的数量的多少。如果转发出去的点击含有较少的设备标识，或者含有脏数据，那么广告主使用这些点击将可能匹配到较少的转化，从而导致转发的漏报，导致报表计算广告转发成本时，转化成本升高。因此，可以通过指标分析诊断展示台展示设备填充率的情况，以及通过下钻分析展示对应的诊断报告，如图6所示，如图6示例性的展示了数据转发设备特征中的idfa覆盖率、muid覆盖率的可视化界面。除此之外，还可以对数据转发设备特征中的muid转发量、muid无效量、clickid覆盖率、clickid转发量、click_id无效量、muid/imei/idfa转发量、muid/imei/idfa无效量、muid/imei/idfa覆盖率、idfa转发量、idfa无效量、imei覆盖率、imei点击转发量、imei无效量进行可视化展示。

又如，在效果接入阶段，广告主可以通过注册数据源后，使用数据源来上报行为数据，指标数据诊断层的Druid集群可以使用DMP效果接入实时分析工具对效果接入指标数据进行统计分析，从而得到上报总量、非转化数据量、进行归因量、参数校验错误量等指标，其中，该DMP工具提供了API、JS、SDK三种接入方式。指标分析诊断展示台可以从上游的Druid集群中获取相应的指标的结果，并展示相应的趋势图，如图7a-图7b所示，图7a-图7b示例性的展示了DMP上报中的DMP实时归因量、DMP参数校验错误量的可视化界面。除此之外，还可以对DMP上报指标中的DMP字段补齐后总量、不进行归因量、DMP进行归因总量、付费金额、非转化数据接收量、qq补齐成功比率、wuid补齐成功率。如图7b所示，图7b为DMP参数校验错误量趋势图以及当发生异常时，通过下钻分析展示的诊断报告，诊断报告展示了参数校验错误的原因。

又如，在转化归因阶段，对于效果接入指标数据，指标数据诊断层的Druid集群会对该数据做一些清洗，然后利用清洗后的效果接入指标数据去匹配查找转化归因指标数据中对应的点击、曝光和关注等行为数据，并对点击、曝光和关注等行为数据中为有效的行为数据所对应的效果接入指标数据进行反作弊、商品标识等校验，从而Druid集群可以得到上报成功的行为数据量、归因成功率、归因成功率、反作弊等指标，进一步的，还可以根据这些指标与广告主统计的上报量进行校对，以及还可以通过下钻分析展示转化归因失败异常的诊断报告。如图8所示，图8示例性的展示了归因结果指标中的归因成功量、CGI上报成功量的可视化界面。除此之外，还可以对归因结果指标中的归因成功率、反作弊后有效量、归因失败量、作弊量，以及归因视角的上报量指标中的上报总量、上报成功率、上报成功量、DMP上报成功量、CGI上报成功量、上报失败量等进行可视化展示。

又如，如图9a所示，图9a为效果接入到转化归因的漏斗和转化归因失败原因堆积图，图9a表示了归因失败的异动。如图9b所示，图9b展示了由图9a得到的数据从接入到归因的损耗。

又如，如图10所示，图10为广告在转化数据接入到效果归因过程中的诊断报告示意图，当接收到用户针对诊断信息的查询请求时，基于诊断信息生成诊断报告，并通过指标诊断展示层向用户进行展示诊断报告，该诊断报告展示了存在的异常以及诊断建议。

通过对基于本申请技术方案应用的具体框架进行大量测试，结果表示，本申请的技术方案可以从全局视角把握广告回流链路的链路流程，以及相较于从系统层面对模块进行监控，本申请的技术方案可以进一步地对广告粒度层面出现的异常进行诊断和处理，进而极大的提升了发现和解决广告回流链路中问题的效率，实现了广告回流链路中的智能诊断。

本申请实施例中，终端获取目标广告的特征信息，并根据特征信息确定待获取的指标数据的类型，根据类型获取广告回流链路中目标广告的指标数据，根据目标广告的指标数据确定至少一个指标，根据至少一个指标得到广告回流链路的诊断信息。通过实施上述方法，可以提升对广告回流链路中的异常检测的可靠性。

下面将结合附图11对本申请实施例提供的一种广告回流链路的数据诊断装置进行详细介绍。需要说明的是，附图11所示的广告回流链路的数据诊断装置，用于执行本申请图2所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示，经参照本申请图2所示的实施例。

请参见图11，为本申请提供的一种广告回流链路的数据诊断装置的结构示意图，该广告回流链路的数据诊断装置1100可包括：获取模块1101、确定模块1102、处理模块1103。

获取模块1101，用于获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

所述获取模块1101，还用于根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

确定模块1102，用于根据所述目标广告的指标数据确定至少一个指标；

处理模块1103，用于根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

在一种可能的实施方式中，所述获取模块1101，具体用于：

获取目标广告对应的目标转化模式；

根据转化模式和指标数据类型的对应关系，确定所述目标转化模式对应的指标数据类型；

将所述目标转化模式对应的指标数据类型作为待获取的指标数据的类型。

在一种可能的实施方式中，所述获取模块1101，具体用于：

基于数据处理框架分别获取所述目标广告的指标数据所对应的日志数据，并对所述日志数据进行处理，得到所述目标广告的指标数据；

将所述目标广告的指标数据发送至第一集群；

所述获取模块1101，具体用于：根据所述类型从所述第一集群获取所述广告回流链路中所述目标广告的指标数据。

在一种可能的实施方式中，所述日志数据包括点击转发日志数据、广告转化日志数据和转化归因日志数据，所述目标广告的指标数据包括点击转发指标数据、广告转化指标数据和转化归因指标数据；

所述获取模块1101，具体用于：从所述点击转发日志数据中获取第一维度数据，并按照第一时间粒度对所述第一维度数据进行聚合，得到所述点击转发指标数据；

从所述广告转化日志数据中获取第二维度数据，并按照第二时间粒度对所述第二维度数据进行聚合，得到所述广告转化指标数据；

从所述转化归因日志数据中获取第三维度数据，并按照第三时间粒度对所述第三维度数据进行聚合，得到所述转化归因指标数据。

在一种可能的实施方式中，所述处理模块1103，还可用于：

将所述目标广告的指标数据发送至离线计算平台；

接收所述离线计算平台对所述目标广告的指标数据的计算结果，所述计算结果包括至少一个指标；

所述根据所述至少一个指标得到所述广告回流链路的诊断信息，包括：

利用所述计算结果包括的至少一个指标对根据所述目标广告的指标数据确定的至少一个指标进行更新，得到更新后的至少一个指标；

根据所述更新后的至少一个指标，确定所述广告回流链路的诊断信息。

在一种可能的实施方式中，所述处理模块1103，还可用于：

将所述诊断信息发送至第二集群；

当检测到用户针对所述诊断信息的查询请求时，调用诊断服务接口从所述第二集群中获取所述诊断信息；

基于所述诊断信息生成诊断报告，将所述诊断报告发送至所述用户。

在一种可能的实施方式中，所述目标广告的指标数据存储于区块链中，所述处理模块1103，还可用于：

获取所述目标广告的广告标识；

将所述广告标识与所述诊断信息关联存储于所述区块链中。

本申请实施例中，获取模块1101获取目标广告的特征信息，并根据特征信息确定待获取的指标数据的类型，获取模块1101根据类型获取广告回流链路中目标广告的指标数据，确定模块1102根据目标广告的指标数据确定至少一个指标，处理模块1103根据至少一个指标得到广告回流链路的诊断信息，通过实施上述过程，可以及时获取广告回流链路中的异常信息，并针对异常信息进行处理，在一定程度上提高了广告回流链路中出现的异常的解决效率。

在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，本申请不做限定。

请参见图12，为本申请实施例提供的一种电子设备的结构示意图。如图12所示，该电子设备1200包括：至少一个处理器1201、存储装置1202。可选的，该电子设备还可包括网络接口1203。其中，所述处理器1201、存储装置1202以及网络接口1203之间可以交互数据，网络接口1203受所述处理器的控制用于收发消息，存储器1202用于存储计算机程序，所述计算机程序包括程序指令，处理器1201用于执行存储器1202存储的程序指令。其中，处理器1201被配置用于调用所述程序指令执行上述方法。

所述存储装置1202可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置1202也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；所述存储装置1202还可以包括上述种类的存储器的组合。

所述处理器1201可以是中央处理器1201(central processing unit，CPU)。在一个实施例中，所述处理器1201还可以是图形处理器1201(Graphics Processing Unit，GPU)。所述处理器1201也可以是由CPU和GPU的组合。

在一个实施例中，所述存储装置1202用于存储程序指令。所述处理器1201可以调用所述程序指令，执行以下步骤：

获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

根据所述目标广告的指标数据确定至少一个指标；

根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

在一种可能的实施方式中，所述处理器1201还可用于执行：

获取目标广告对应的目标转化模式；

根据转化模式和指标数据类型的对应关系，确定所述目标转化模式对应的指标数据类型；

将所述目标转化模式对应的指标数据类型作为待获取的指标数据的类型。

在一种可能的实施方式中，所述处理器1201还可用于执行：

基于数据处理框架分别获取所述目标广告的指标数据所对应的日志数据，并对所述日志数据进行处理，得到所述目标广告的指标数据；

将所述目标广告的指标数据发送至第一集群；

所述根据所述类型获取广告回流链路中所述目标广告的指标数据，包括：

根据所述类型从所述第一集群获取所述广告回流链路中所述目标广告的指标数据。

在一种可能的实施方式中，所述日志数据包括点击转发日志数据、广告转化日志数据和转化归因日志数据，所述目标广告的指标数据包括点击转发指标数据、广告转化指标数据和转化归因指标数据；所述处理器1201还可用于执行：

从所述点击转发日志数据中获取第一维度数据，并按照第一时间粒度对所述第一维度数据进行聚合，得到所述点击转发指标数据；

从所述广告转化日志数据中获取第二维度数据，并按照第二时间粒度对所述第二维度数据进行聚合，得到所述广告转化指标数据；

从所述转化归因日志数据中获取第三维度数据，并按照第三时间粒度对所述第三维度数据进行聚合，得到所述转化归因指标数据。

在一种可能的实施方式中，所述处理器1201还可用于执行：

将所述目标广告的指标数据发送至离线计算平台；

接收所述离线计算平台对所述目标广告的指标数据的计算结果，所述计算结果包括至少一个指标；

所述根据所述至少一个指标得到所述广告回流链路的诊断信息，包括：

利用所述计算结果包括的至少一个指标对根据所述目标广告的指标数据确定的至少一个指标进行更新，得到更新后的至少一个指标；

根据所述更新后的至少一个指标，确定所述广告回流链路的诊断信息。

在一种可能的实施方式中，所述处理器1201还可用于执行：

将所述诊断信息发送至第二集群；

当检测到用户针对所述诊断信息的查询请求时，调用诊断服务接口从所述第二集群中获取所述诊断信息；

基于所述诊断信息生成诊断报告，将所述诊断报告发送至所述用户。

在一种可能的实施方式中，所述处理器1201还可用于执行：

获取所述目标广告的广告标识；

将所述广告标识与所述诊断信息关联存储于所述区块链中。

具体实现中，本申请实施例中所描述的装置、处理器1201、存储装置1202等可执行上述方法实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。

本申请实施例中还提供一种计算机(可读)存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，可执行上述方法实施例中所执行的部分或全部步骤。可选的，该计算机存储介质可以是易失性的，也可以是非易失性的。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机存储介质中，该计算机存储介质可以为计算机可读存储介质，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种广告回流链路的数据诊断方法，其特征在于，包括：

获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

根据所述目标广告的指标数据确定至少一个指标；

根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

2.根据权利要求1所述的方法，其特征在于，所述获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型，包括：

获取目标广告对应的目标转化模式；

根据转化模式和指标数据类型的对应关系，确定所述目标转化模式对应的指标数据类型；

将所述目标转化模式对应的指标数据类型作为待获取的指标数据的类型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于数据处理框架分别获取所述目标广告的指标数据所对应的日志数据，并对所述日志数据进行处理，得到所述目标广告的指标数据；

将所述目标广告的指标数据发送至第一集群；

所述根据所述类型获取广告回流链路中所述目标广告的指标数据，包括：

根据所述类型从所述第一集群获取所述广告回流链路中所述目标广告的指标数据。

4.根据权利要求3所述的方法，其特征在于，所述日志数据包括点击转发日志数据、广告转化日志数据和转化归因日志数据，所述目标广告的指标数据包括点击转发指标数据、广告转化指标数据和转化归因指标数据；

所述对所述日志数据进行处理，得到所述目标广告的指标数据，包括：

从所述点击转发日志数据中获取第一维度数据，并按照第一时间粒度对所述第一维度数据进行聚合，得到所述点击转发指标数据；

从所述广告转化日志数据中获取第二维度数据，并按照第二时间粒度对所述第二维度数据进行聚合，得到所述广告转化指标数据；

从所述转化归因日志数据中获取第三维度数据，并按照第三时间粒度对所述第三维度数据进行聚合，得到所述转化归因指标数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述目标广告的指标数据确定至少一个指标之后，所述方法还包括：

将所述目标广告的指标数据发送至离线计算平台；

接收所述离线计算平台对所述目标广告的指标数据的计算结果，所述计算结果包括至少一个指标；

所述根据所述至少一个指标得到所述广告回流链路的诊断信息，包括：

利用所述计算结果包括的至少一个指标对根据所述目标广告的指标数据确定的至少一个指标进行更新，得到更新后的至少一个指标；

根据所述更新后的至少一个指标，确定所述广告回流链路的诊断信息。

6.根据权利要求1-4任一项所述的方法，其特征在于，在所述得到广告回流链路的诊断信息之后，所述方法还包括：

将所述诊断信息发送至第二集群；

当检测到用户针对所述诊断信息的查询请求时，调用诊断服务接口从所述第二集群中获取所述诊断信息；

基于所述诊断信息生成诊断报告，将所述诊断报告发送至所述用户。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述目标广告的指标数据存储于区块链中，所述方法还包括：

获取所述目标广告的广告标识；

将所述广告标识与所述诊断信息关联存储于所述区块链中。

8.一种广告回流链路的数据诊断装置，其特征在于，包括：

获取模块，用于获取目标广告的特征信息，并根据所述特征信息确定待获取的指标数据的类型；

所述获取模块，还用于根据所述类型获取广告回流链路中所述目标广告的指标数据，所述目标广告的指标数据包括以下任一种或多种：点击转发指标数据、广告转化指标数据、转化归因指标数据；

确定模块，用于根据所述目标广告的指标数据确定至少一个指标；

处理模块，用于根据所述至少一个指标得到所述广告回流链路的诊断信息，所述诊断信息表征了所述广告回流链路中的异常信息。

9.一种电子设备，其特征在于，包括处理器和存储装置，所述处理器与所述存储装置相互连接，其中，所述存储装置用于存储计算机程序指令，所述处理器被配置用于执行所述程序指令，实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

Images