CN108154376A - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置；方法包括：从广告系统获取记录数据；构建接入广告系统的广告媒介、计算模型集合以及数据字段之间的映射关系；设定目标广告媒介，获取针对目标广告媒介设定的指标数据的类型，并获取针对指标数据设定的不同维度的筛选条件；基于映射关系，定位目标广告媒介所映射的计算模型中用于计算类型的指标数据的目标计算模型，并定位目标计算模型在目标广告媒介的记录数据中所映射的数据字段；通过目标计算模型，对映射的数据字段中符合不同维度的筛选条件的数据字段进行计算，形成对应目标广告媒介的目标数据。实施本发明，能够对接入广告系统的对于支持高效获取不同广告媒介的指标数据，节约服务器资源开销。

Description

数据处理方法及装置

技术领域

本发明涉及通信技术，尤其涉及一种数据处理方法及装置。

背景技术

互联网广告(以下简称广告)作为在互联网进行信息推广的典型技术，已经成为用户获取信息、以及广告主提升知名度和宣传产品的重要途径。

根据中国互联网信息中心(CNNIC)调查，截止2016年6月，我国互联网网民规模已达到7.1亿，普及率为51.7％，作为互联网中信息推广的主要手段，网络广告业务相比于传统的广告媒介(报纸、杂志、电视和广播)，在结构上还是形态上都比后者要更为精细、多样和错综复杂。并且，随着科技媒介本身的发展以及与传统媒体的融合，新的广告媒介层出不穷。

在广告投放业务中，需要获取广告媒介中所投放广告的各种指标数据，进行广告系统的各种挖掘优化工作，如优化广告投放定向精度、提升广告位的利用率等。

网络中的广告媒介的异构性、以及指标数据多样性的特点，导致服务器计算不同指标数据时所需的原始的记录数据、以及基于记录数据计算出指标数据的方式都存在差异，因此，服务器基于业务逻辑对广告媒介的原始的记录数据进行查询、以及计算形成指标数据时，所运行的业务逻辑存在不可避免地差异。

一方面，服务器需要对接异构的广告媒介来计算指标数据，鉴于广告媒介的数量大以及不断变动的情况，需要不断更新服务器中对应新广告媒介的形成指标数据的业务逻辑，以及更新已有的业务逻辑，导致难以维护的问题；另一方面，由于计算指标数据的任务庞大，服务器难以在短时间内计算形成指标数据，特别是响应并发的指标数据的需求时将出现较大的延迟。

发明内容

本发明实施例提供一种数据处理方法及装置，能够针对接入广告系统的对于支持高效获取不同广告媒介的指标数据，节约服务器资源开销。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据处理方法，包括：

从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；

构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系；

在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；

基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；

通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。

第二方面，本发明实施例提供一种数据处理装置，包括：

接入单元，用于从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；

构建单元，用于构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系；

获取单元，用于在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；

定位单元基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；

计算单元，用于通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的所述目标数据。

第三方面，本发明实施例提供一种数据处理装置，包括存储器和处理器，所述存储器中存储有可执行指令，用于执行本发明实施例提供的数据处理方法。

第四方面，本发明实施例提供一种存储介质，存储有可执行指令，用于执行本发明实施例提供的数据处理方法。

本发明实施例具有这样的有益效果：

1)通过将不同广告媒介在映射关系中与计算模型进行耦合的方式集中起来，支持对多种广告媒介的指标数据的筛选条件进行设定，从而实现了对多种广告媒介的指标数据进行统一查询的入口的效果，便于统一配置管理。

2)通过计算模型与广告媒介的数据字段之间的映射，形成广告媒介-计算模型-数据字段的映射关系，使得异构网络能够通过计算模型间接映射到同一数据字段集合(全体数据字段)中的部分数据字段，通过数据字段集合打通了异构广告媒介的记录数据的数据结构存在差异而无法以统一的数据结构的隔阂，实现了不同广告媒介的数据字段的融合，节省了存储资源的开销。

3)通过计算模型与广告媒介的耦合、以及计算模型与数据字段的耦合，将异构的广告媒介与广告媒介的繁多的数据字段之间复杂的连接关系成功解耦，广告媒介的变动在三元组结构中表现为广告媒介与计算模型的映射关系的更新，由于不涉及对变动的广告媒介与数据字段之间的复杂的映射关系进行修改，扩展性强、健壮性高，可达到根据广告媒介的变动而自适应管理的效果，节省了研发与维护成本。

附图说明

图1是本发明实施例提供的针对多个广告媒介设置数据平台以提供查询指标数据服务的一个可选的示意图；

图2是本发明实施例提供的数据处理方法的一个可选的流程示意图；

图3是本发明实施例提供的针对广告媒介的数据字段进行统一配置管理并计算指标数据的架构示意图；

图4是本发明实施例提供的针对广告媒介的数据字段进行统一配置管理优化并计算指标数据的架构示意图；

图5-1是本发明实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构前广告媒介与数字字段的映射关系的示意图；

图5-2是本发明实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构后广告媒介与数字字段的映射关系的对比示意图，

图6是本发明实施例提供的指标数据服务中设定广告媒介、指标数据的类型、以及一个或多个维度的筛选条件的一个可选的示意图；

图7是本发明实施例提供的自适应配置管理系统与广告系统的一个可选的拓扑关系示意图，

图8是本发明实施例提供的自适应配置管理系统的一个可选的软硬件结构示意图；

图9是本发明实施例提供的自适应配置管理系统的一个可选的功能结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。

对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)广告媒介，如无特别说明，本文中指网络广告媒介，是指可以在网络中提供广告位以展示广告的媒介，根据广告媒介的不同属性提供有不同的广告位。如网络视频服务(包括网页和客户端的访问方式)作为一个广告媒介，包含如下形式的广告位：PC-点播-前贴片；直播-角标；移动-点播-暂停。

2)曝光，广告在广告位的一次展现为一次曝光。

3)点击，对广告的一次有效的点击。

4)覆盖，广告受众的分布范围，如年龄、地域和性别等。

5)频次，广告投放在所设定的最大的曝光的频率和曝光的次数，如针对同一用户曝光的频次，或针对使用同一类型终端的用户曝光的频次。

6)收入，投放广告的计费，包括按点击计费、按曝光计费、按照广告效果转化等计费方式。

7)记录数据，广告系统在广告媒介中投放的广告的多个类型的数据，如点击数据、频次数据、曝光数据和覆盖数据，以及收入数据。记录数据是对广告媒介相关的一列实体和虚拟的属性的概括，记录数据由一系列不同维度的数据字段构成。

8)数据字段，记录数据的基本组成单位，包括：数据字段标识和数据字段值。

数据字段名称(也称为数据字段源)，代表数据字段的所属的维度，每个数据对应一个维度，因此数据字段标识可以直接采用数据字段的维度作为名称，如浏览网页的独立访客(UV，Unique Visitor)、广告位名称、广告位类型、城市、性别、内容渠道和客户名称等。当然，数据字段名称也可以采用数据字段序列号(ID)的形式。

数据字段值(也称为数据字段内容)，与数据字段名称对应，数据字段在相应维度的值域。

以数据字段为“平台”为例，值域包括：客户端；终端设备的类型，如iPad、iPhone、ahPone、aPad；H(HTML，Hypertext Markup Language)5页面；ATV(Android TV，即安卓智能电视盒子)；个人电脑(PC)。

记录数据所包括的数据字段的维度取决于记录数据来源的广告媒介，来自广告媒介的记录数据所包括的全部维度的数据字段，本文中也称为广告媒介支持的数据字段，也就可以供计算模型进行计算以形成指标数据的数据字段。

9)指标数据，基于用户设定的一个或多个维度的筛选条件，查询一定时间内相应维度的记录数据得到的符合筛选条件的记录数据(包括已投放广告的记录数据，以及待投放广告的记录数据)，并对相应维度的符合筛选条件的记录数据进行运算(如累加)形成的数据。例如，包括与广告投放相关的点击数据、曝光数据、覆盖数据和频次数据，以及与广告计费相关的收入数据，用于表现在一定时间媒体介质中投放广告的情况。

对于维度和筛选条件而言，筛选条件用于描述在广告在相应维度的取值或取值范围，例如，维度包括：1)与场景特征相关的维度，如浏览器；平台；操作系统，相应的筛选条件为可以QQ浏览器；移动端；安卓系统；2)广告受众的，如年龄、城市、性别等，相应的筛选条件可以为20至30岁、男、北京；3)与广告位相关的维度，如广告位类型、广告位名称、广告位资源平台(如视频服务、微信)、广告位资源站点等。

10)计算模型，用于根据记录数据、以及用户设定的一个或多个维度的筛选条件对记录数据查询和计算形成指标数据并输出。

11)频道，客户端中所提供的内容服务的不同类型的划分，如视频客户端包括电影、电视剧、体育和娱乐等频道；新闻客户端包括新闻、体育、时尚、财经和汽车等频道。

如前所述，由于不同的广告媒介(如门户、社交、视频、地方门户以个人站点等)存在的差异，从广告行为的产生(观看、点击、转化)、到记录数据的收集，一直到对记录数据进行计算统计得到形成符合特定维度的筛选条件的指标数据的过程中，每种广告媒介的指标数据形成的方式都不尽相同。这意味着想要获取某种广告媒介的指标数据，则需要针对该广告媒介开发一套数据平台以提供针对相应广告媒介查询指标数据的服务，数据分析师根据需求向数据平台设定不同维度的筛选条件，根据数据平台输出的指标数据进行后期的挖掘优化工作。

假设广告系统接入三种广告媒介：视频服务(网络中提供客户端和网页端等访问方式的视频服务，例如，腾讯视频)、新闻客户端以及内容聚合APP(根据用户订阅或主动推送相关聚合内容如新闻、购物等信息的APP，如快报APP)，需要获取如下的记录数据：视频服务、新闻客户端在不同维度(如城市、频道、广告位、片区、专辑等)下曝光、广告收入，以及内容聚合APP在不同频道的广告收入。

下面结合针对上述不同广告媒介的记录数据计算指标数据的示例进行说明。参见图1，图1是本发明实施例提供的针对多个广告媒介设置数据平台以提供查询指标数据服务的一个可选的示意图。

在图1中，提供有三个数据平台，分别是：数据平台1、数据平台2和数据平台3。

其中，数据平台1主要是用于计算视频服务在如下维度(如城市、频道、广告位、片区、专辑等)曝光数据、广告收入数据、贴一曝光数据以及视频播放量(VV，Video View)数据；

数据平台2主要是用于计算内容聚合APP中已经投放广告的已投放广告收入数据在各个频道的维度的拆分，方便从组织架构管理角度分析广告收入；

数据平台3则是用于计算包含新闻客户端、门户网站等广告媒介在各维度(城市、平台、广告位等)下的曝光数据，以及在日期、广告位和广告投放订单等维度的投放(待投放广告)数据。

上述每个数据平台对接一个或一类相似的广告媒介，各数据平台针对所对接广告媒介的业务逻辑(即查询符合设定维度的筛选条件的数据字段形成指标数据的逻辑)均硬编码在各个数据平台之中，用于计算所对接的广告媒介的指标数据。

因此，一旦需要针对新广告媒介计算相应的指标数据，包括新广告媒介在各维度(城市、平台、广告位等)下的指标数据，包括：曝光数据，以及基于日期、广告位、广告订单等维度的投放数据，都需要将广告媒介与数据平台对接。

为了管理这些异构且频繁多变的广告媒介并统一地获取指标数据，本发明实施例提供如下一种可选的方案：针对新产生的广告媒介单独开发相应的数据平台，以适应新产生广告媒介的属性计算指标数据。如果需要获取多个广告媒介的记录数据，则分别从广告媒介对接的多个数据平台获取相应的指标数据，并将多个广告媒介的指标数据交给专业的数据分析师进行组合归并，最后形成目标数据。

这样一来，由于不同广告媒介的指标数据需要基于与广告媒介所对接的数据平台计算得到，面对目前互联网中广告媒介层出不穷、广告媒介自身频繁多变(如不断发布有新功能、新属性的客户端应用版本，导致对应的数据字段也不断变化)的现状，每获取一种广告媒介的指标数据，均需要访问支持特定广告媒介的数据平台，且还需要一步对不同广告媒介对应的记录数据进行整合操作。

综上所述，本发明实施例提供的上述针对不同(类别)的广告媒介开发数据平台以形成指标数据的方案，至少存在以下问题：

1)可扩展性差：如果广告系统接入的广告媒介有所变更(如更新、新增或减少)，则需要在保持现有各广告媒介的数据平台稳定运行的前提下，单独为更新的广告媒介开发更新数据平台(更新基于数据字段计算指标数据的业务逻辑)，为新增的广告媒介开发一套新的数据平台以计算指标数据。

2)研发与维护成本高：每一种广告媒介需要研发一套数据平台，其中所需的人力和物力随着媒介数量程线性增加，长期来看投入力度巨大。随着广告媒介的不断增多，针对海量的广告媒介的数据平台进行管理将难以实现。无论是从数据平台开发的角度，还是从数据平台的运维的角度，都存在因效率低下而难以实现的问题。

另外，如果将新的媒介数据耦合进已经开发的数据平台，由于广告媒介的之间的差异性，例如在功能、用户、运行平台、界面、所能够提供的广告位之间存在的不可避免的差异，涉及到在数据平台中兼容不同广告媒介计算记录数据，，需要耗费相当大的开发、测试和运营成本。

3)需要专业人为干预：由图1可知，指标数据的获取过程在涉及不同媒介间的关联形成目标数据时则需要专业人员的干预，并且随着广告媒介的不断变化，对专业人员的要求也会不断增加。

4)流程冗长：从产生、收集记录数据到查询记录数据计算形成指标数据，流程十分冗长，虽然各广告媒介之间的数据处理可以并行进行，但是专业人员的分析环节很容易成为瓶颈，造成获取指标数据变得耗时和冗长。

参见图2，图2是本发明实施例提供的数据处理方法的一个可选的流程示意图，并参见图3，图3是本发明实施例提供的针对广告媒介的数据字段进行统一配置管理并计算指标数据的架构示意图，针对所有广告媒介的指标数据的计算处理被统一到对广告媒介进行管理的自适应配置管理系统统一进行调度。

需要指出地，虽然图2以及后续图3中以视频服务、新闻客户端以及内容聚合APP这几个广告媒介为例进行说明，但是可以理解地，凡是接入广告系统并能够供广告系统投放广告的广告媒介，均能够由自适应配置管理系统调度并在前端提供统一的查询指标数据的功能，例如任意类型的网络视频服务(包括网页端服务和客户端服务)，新闻服务(包括网页端和客户端)以及内容聚合服务等。

具体来说，自适应配置管理系统与接入广告系统的不同的广告媒介(接入是指，可供广告系统进行广告投放)对接，将广告媒介、以及广告媒介所支持的各种数据字段的映射关系集中存储于自适应配置管理系统。自适应配置管理系统从广告系统获取基于接入的广告媒介投放广告所形成的记录数据(步骤101)，通过接入广告系统的广告媒介及广告媒介所支持的数据字段的对应关系，自适应配置管理系统形成用于构建三元组结构的一个组成元素-全体数据字段(数据字段集合)，全体数据字段是对所有广告媒介的记录数据中包括的数据字段的集合。在全体数据字段中可以记录包括相应数据字段的广告媒介的信息。

每个广告媒介支持的数据字段数目众多，并且不同广告媒介支持的数据字段存在重叠的情况，以广告媒介(分别以视频服务、新闻客户端和内容聚合APP为例)支持的数据字段进行说明，如下表1所示全体数据字段：

表1广告媒介支持的数据字段

在表1中，在全体数据字段选取一些有代表性的数据字段来说明而并未示出全部的数据字段，“支持”是指该广告媒介的记录数据中包括相应的数据字段，“不支持”是指该广告媒介的记录数据中不包括相应的数据字段。由上表1不难发现，各个广告媒介支持的数据字段存在一部分重叠的情况，且每个广告媒介(即每个广告媒介对应的记录数据)仅覆盖全体数据字段中的部分数据字段。

针对各个广告媒介支持的数据字段存在一部分重叠的情况，自适应配置管理系统(从硬件实现讲，自适应配置管理系统至少使用一定的计算资源包括处理器和内存空间实现)在内存中计算指标数据时，复用重叠的数据字段的内存空间，例如在内存空间中存储1份重叠的数据字段，为具有该重叠数据字段的广告媒介分配指向该重叠的数据字段的指针，从而能够节省计算指标数据时用于存储记录数据的内存资源。

例如，在表1中，广告位、平台以及客户名称等为视频服务、新闻客户端和内容聚合APP这三个广告媒介都支持的数据字段，则各个广告媒介的重叠的数据字段在内存中可以使用相同的内存空间存储(仅存储一份重叠的数据字段，而非三个广告媒介分别存储)，在内存空间中以这样的形式记录，<客户端、ipad、iphone、ahpone、apad、h5、atv、pc>，为广告媒介的相应数据字段分配指向复用的内存空间的指针，从而不必为每个广告媒介在内存中存储重叠的数据字段。

在图1中，不同广告资源支持的数据字段数目快速增长(截至本发明实施时，图1中示出的广告媒介支持的数据字段多达1000多个)，以及新的广告媒介的接入(图1中仅示出3种广告媒介，截至本发明实施时实际需要对接的广告媒介已经多达24种)快速增长，广告媒介与数据字段之间存在复杂的映射关系，一旦广告媒介变更(新增、更新或删除)，就需要对数据平台的业务逻辑进行更新或者新开发数据平台以对接新增的广告媒介，将使得指标数据业务的开发与管理变得更越来越困难，且指标数据业务的学习成本也将不断上升。

针对上述问题，基于图3并参见图4，图4是本发明实施例提供的针对广告媒介的数据字段进行统一配置管理优化并计算指标数据的架构示意图，在自适应配置管理系统中提供计算模型，使计算模型可以复用于针对不同的广告媒介计算指标数据。

在图4中，自适应配置管理系统中形成一个<全体广告媒介(广告媒介集合)，全体计算模型(计算模型集合)，全体数据字段(数据字段集合)>的三元组结构，其中每个元素又各有自身的数据结构，如全体计算模型包括用于针对全体广告媒介计算指标数据的能够使用的计算模型的集合，包括计算模型C1至计算模型Cn，全体数据字段全体广告媒介的记录数据所包括的数据字段的集合，包括数据字段F1至数据字段Fm；全体广告媒介包括接入广告系统并供广告系统投放广告的广告媒介的集合。

自适应配置管理系统构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系，形成三元组结构(步骤102)，对形成三元组结构的方式进行说明。

首先，根据广告媒介支持的数据字段、广告媒介的指标数据的用户需求(用户需求的指标数据通过指标数据的类型、预计需求通过不同维度的筛选条件表示)，以及各广告媒介之间的关联(如重叠的数据字段)，将每个广告媒介映射到全体计算模型(所有能够用于计算指标数据的计算模型的集合)一个或多个计算模型，所映射到的计算模型为所述计算模型集合中基于所述广告媒介所包括的至少部分数据字段进行计算的计算模型。

计算模型用于计算一个或多个维度的筛选条件的指标数据，就计算符合相同的一个或维度筛选条件的指标数据而言，计算模型可供复用于为多个广告媒介计算需求的指标数据，无需为计算符合相同的一个或维度筛选条件的指标数据针对多个广告媒介分别形成计算模型，从而一个计算模型的计算结果能够复用于为不同的广告媒介计算数据，节省服务器的计算资源的开销。

例如，在图4中，自适应配置管理系统中设置的全体计算模型包括计算模型C1至计算模型Cn，广告媒介(包括视频服务、新闻客户端和内容聚合APP)映射到计算模型C1至计算模型Cn中的至少一个计算模型，假设计算模型C1用于计算符合平台维度的筛选条件的曝光数据(指标数据)，且存在获取各广告媒介的符合平台维度的筛选条件的曝光数据的用户需求，则各广告媒介均映射到计算模型C1，计算模型C1可用于为各广告媒介计算平台维度的筛选条件的曝光数据。

再例如，在图5-2中，将广告媒介M1映射到计算模型C1和计算模型C2，计算模型C1和计算模型C2用于计算用户针对广告媒介M1需求的指标数据；将广告媒介M2映射到计算模型C3和计算模型C4，计算模型C3和计算模型C4用于计算用户针对广告媒介M2需求的指标数据。

然后，将全体计算模型中的各计算模型映射至全体数据字段使用计算模型计算指标数据时所需要使用的数据字段。

接入计算模型的广告媒介(全体广告媒介)支持的全体数据字段包括数据字段F1至数据字段Fm，以计算模型C1为例，假设计算模型用于计算符合平台维度的筛选条件的曝光数据，则将计算模型C1映射到数据字段F1至数据字段Fm中与平台、曝光相关的数据字段。

参见图5-1和图5-2，图5-1是本发明实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构前广告媒介与数字字段的映射关系的示意图，图5-2是本发明实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构后广告媒介与数字字段的映射关系的示意图，在引入基于计算模型的三元组结构之前，如在图1中，广告媒介与数据字段之间形成直接的如图5-1示出的耦合关系，如广告媒介M1的记录数据与数据字段<F1，F2，F3，F5>耦合，而广告媒介M2的记录数据与数据字段<F2，F3，F4，F6>耦合，数据平台基于硬编码的业务逻辑对广告媒介支持的数据字段查询计算形成业务逻辑。

在引入基于计算模型的三元组结构之后，由图1中本发明实施例提供的广告媒介直接映射指标数据的两层架构，转变为图4中本发明实施例提供的将广告媒介映射到计算模型、并将计算模型映射到数据字段的如图5-2示出的三元组结构，通过计算模型将异构的广告媒介与繁多的数据字段之间复杂的耦合关系进行解耦。

具体来说，在图5-2中，广告媒介M1映射到计算模型C1和计算模型C2，计算模型C1映射到数据字段<F1，F5>，计算模型C2映射到数据字段<F2，F3>；广告媒介M2映射到计算模型C3和计算模型C4，计算模型C3映射到数据字段<F2，F3>，计算模型C4映射到数据字段<F4，F6>。

这样，三元组结构将广告媒介与支持的数据字段的之间的映射关系，转化为计算模型与数据字段的映射关系、以及广告媒介与计算模型的映射关系，对于广告媒介来说只面向计算模型，由计算模型根据广告媒介计算相应的数据字段，实现了减少了资源开销和管理成本的效果，结合广告媒介发生变动的情况进行说明：

1)在广告媒介对应的数据字段发生更新时，由于计算模型与数据字段之间的映射关系具有稳定的特性，一旦确定则基本不会改变，因此只需要确定映射到更新的广告媒介支持的数据字段的计算模型，并将更新的广告媒介重新映射到所确定的计算模型，从而更新三元组结构中更新的广告媒介与全体计算模型中的计算模型的映射关系。

例如，当广告媒介M1包括的数据字段<F1，F5>更新为数据字段<F2，F3>时，只需要将广告媒介M1映射的计算模型C1和计算模型C2更新为计算模型C3。

2)在新增广告媒介时，针对新增的广告媒介在三元组结构中添加新增广告媒介与计算模型之间的映射关系；

3)在需要删除接入广告系统的广告媒介时，在三元组结构中删除已经停止接入的广告媒介与全体计算模型中的计算模型之间的映射关系。

如上所述，一旦有广告媒介变动(如新增、修改或删除广告媒介)时，只需要更新变动的广告媒介与计算模型的映射关系(一对一或一对多)，由于计算模型与数据字段的映射关系一旦确定则基本不会改变，可以复用于针对不同广告媒介计算指标数据，而无需针对广告媒介与繁多的数据字段之间的关系进行修改。

这种将自适应配置管理系统的易变化性的部分(广告媒介与计算模型的映射关系)与不变性部分(计算模型与数据字段之间的映射关系)解耦的方案，针对广告媒介的扩展性较强、健壮性较高，可达到广告媒介的变动而自适应管理的效果，节省了研发与维护成本。

基于图4示出的自适应配置管理系统及配置的三元组结构，在计算某个广告媒介的指标数据时，参见图6，图6是本发明实施例提供的指标数据服务中设定广告媒介、指标数据的类型、以及一个或多个维度的筛选条件的一个可选的示意图，支持根据用户在广告媒介列表中选择某一广告媒介以进行指标数据俄设定，包括进行以下方面的设定：

需求的指标数据所使用的记录数据的有效的时间范围；

需求的指标数据的类型，如投放相关的曝光数据、收入数据、曝光数据和覆盖数据；

每种类型的指标数据的筛选条件，支持从多个维度设定筛选条件，以曝光数据的维度为例，包括场景特征相关的维度，如浏览器、平台、操作系统、移动端机型、H5细分平台、平台ID和移动端屏幕尺寸等，每个维度可以设置取值作为筛选条件，如对于浏览器维度可用的筛选条件包括QQ浏览器、火狐浏览器等。另外，还包括实际位置维度、广告位资源维度、人口地域特征维度以及排期订单维度等。

每种媒介资源的指标数据的筛选条件的维度存在区别，根据用户所选中的广告媒介，筛选条件的维度会跟随更新，达到一种凡是针对选定的广告媒介而显示的维度即可供用户选择并设定筛选条件的效果。

根据图6支持的设定，在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件(步骤103)。举例来说，用户针对某一广告媒介设定需求的指标数据的类型(如曝光、点击、覆盖和收入等)，同时设定指标数据的一个或多个维度的筛选条件。

自适应配置管理系统基于所述三元组结构，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段(步骤104)。

举例来说，自适应配置管理系统首先根据三元组结构确定映射到该广告媒介的计算模型，继而根据用户针对该广告媒介设定的需求的指标数据的类型，定位出能够计算出需求的类型的指标数据的计算模型(目标计算模型)。根据三元组结构查询广告媒介的记录数据中被计算模型(目标计算模型)所映射的数据字段。

通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的所述目标数据(步骤105)。

举例来说，根据用户针对需求类型的指标数据而设定的一个或多个维度的筛选条件，通过所述目标计算模型对查询到的数据字段中符合所设定维度的筛选条件数据字段并进行计算，如指标数据为1个月在安卓平台的曝光量时，则将符合筛选条件的曝光量数据进行累加计算，输出需求的指标数据。

再举例来说，视频服务可映射到视频广告曝光模型、视频离线广告曝光模型、视频播放数据模型；新闻客户端媒介可映射到新闻客户端广告敏捷模型、新闻客户端广告点击模型。视频广告曝光模型可基于用户设定的筛选条件对视频广告曝光模型映射到视频服务的多个数据字段进行计算，形成视频服务在设定时间范围内的视频广告曝光数据，视频广告曝光模型可基于用户设定的筛选条件对视频广告曝光模型映射到视频服务的多个数据字段进行计算，形成视频服务在设定时间范围内的视频广告曝光数据，

对上述自适应配置管理系统与广告系统的拓扑关系进行说明，参见图7示出的自适应配置管理系统与广告系统的一个可选的拓扑关系示意图，在图7中，广告系统中接入有各种广告媒介，广告系统中设置投放端和计费端，投放端根据各种定向条件通过广告媒介投放广告，并收集投放广告的各种记录数据如点击数据、曝光数据、频次数据，计费端针对投放广告计算费用形成收入数据。另外，记录数据除了包括前述的已经执行类型的数据，还可以包括待投放广告的记录数据，即待投放广告的预期的点击数据、曝光数据、频次数据等。自适应配置管理系统10与广告系统通信，获取接入广告系统20的各个广告媒介的记录数据。

自适应配置管理系统10向用户提供针对所有广告媒介统一查询指标数据的入口，根据用户设定的广告媒介，已经针对广告媒介设定的所需求的指标数据的类型、所需求的指标数据的筛选条件(支持用户设定多个维度的筛选条件)，通过维护的三元组结构计算目标数据，用户通过对目标数据的挖掘分析，优化广告系统20的定向投放和广告位资源的利用。

对上述自适应配置管理系统的软硬件结构进行说明，在硬件层面上，示例性地，自适应配置管理系统可以基于用户侧的终端的资源如计算资源(如处理器)和通信资源(如网络接口)实现，在软件层面上，自适应配置管理系统可以实施为存储与用户侧终端的存储介质中的可执行指令(包括诸如程序、模块之类的计算机可执行指令)。

参见图8示出的自适应配置管理系统的一个可选的软硬件结构示意图，自适应配置管理系统10包括硬件层、中间层、操作系统层和软件层。然而，本领域的技术人员应当理解，图8示出的自适应配置管理系统10的结构仅为示例，并不构成对自适应配置管理系统10结构的限定。例如，自适应配置管理系统10可以根据实施需要设置较图8更多的组件，或者根据实施需要省略设置部分组件。

自适应配置管理系统10的硬件层包括处理器11、输入/输出接口13，存储介质14以及网络接口12，组件可以经系统总线连接通信。

处理器11可以采用中央处理器(CPU)、微处理器(MCU，Microcontroller Unit)、专用集成电路(ASIC，Application Specific Integrated Circuit)或逻辑可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

输入/输出接口13可以采用如显示屏、触摸屏、扬声器等输入/输出器件实现。

存储介质14可以采用闪存、硬盘、光盘等非易失性存储介质实现，也可以采用双倍率(DDR，Double Data Rate)动态缓存等易失性存储介质实现，其中存储有用以执行上述数据处理方法的可执行指令。

示例性地，存储介质14可以与自适应配置管理系统1共同在同一地点设置，也可以相对于自适应配置管理系统1异地远程设置，或者相对自适应配置管理系统1本地和异地分布设置。网络接口12向处理器11提供外部数据如异地设置的存储介质14的访问能力，示例性地，网络接口12可以基于近场实现如基于码分多址(CDMA，Code Division MultipleAccess)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)等通信制式及其演进制式的通信。

驱动层包括用于供操作系统16识别硬件层并与硬件层各组件通信的中间件15，例如可以为针对硬件层的各组件的驱动程序的集合。

操作系统16用于提供面向用户的图形界面，示例性地，包括插件图标、桌面背景和应用图标，操作系统16支持用户经由图形界面对设备的控制本发明实施例对上述设备的软件环境如操作系统类型、版本不做限定，例如可以是Linux操作系统或UNIX操作系统等。

软件层包括用于提供指标数据查询服务的应用，通过提供如图6所示的针对接入广告系统的所有广告媒介的指标数据进行统一查询的入口。

参见图9示出的自适应配置管理系统18的一个可选的功能结构示意图，包括：

接入单元181，用于从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；

构建单元182，用于构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系，形成三元组结构<广告媒介集合；计算模型集合；数据字段集合>，在三元组结构中包括广告媒介集合；计算模型集合之间的映射关系，计算模型集合与数据字段集合之间的映射关。

获取单元183，用于在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；

定位单元184，用于基于所述三元组结构，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；

计算单元185，用于通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的所述目标数据。

在一个实施例中，所述构建单元182，还用于将所述广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述广告媒介所包括的至少部分数据字段进行计算的计算模型；

所述构建单元182，还用于根据所述计算模型集合中的各计算模型进行计算时所需要的数据字段，将所述数据字段映射到所述数据字段集合中的相应数据字段。

在一个实施例中，所述构建单元182，还用于当所述广告系统接入新广告媒介时，根据所述新广告媒介对应的记录数据所包括的数据字段，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

在一个实施例中，所述构建单元182，还用于当所述广告系统接入广告媒介发生更新时，删除所述三元组结构中所述更新广告媒介与所述计算模型集合中计算模型的原映射关系，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

在一个实施例中，所述构建单元182，还用于当所述广告系统接入的广告媒介停止接入时，删除所述三元组结构中停止接入广告媒介与所映射的计算模型的映射关系。

在一个实施例中，所述构建单元182，还用于当不同所述广告媒介映射到所述数据字段集合中存在重叠的数据字段时，针对所述重叠的数据字段是复用相同的存储空间。

在一个实施例中，所述构建单元182，还用于当不同所述广告媒介映射到所述计算模型集合中相同的计算模型时，针对所述不同广告媒介复用所述相同计算模型计算结果。

在一个实施例中，所述接入单元181，还用于从所述广告系统获取基于所述接入的广告媒介所投放广告的以下类型的记录数据：所述广告媒介中所投放广告的收入数据、曝光数据、点击数据和频次数据。

在一个实施例中，所述获取单元183，还用于根据用户在所述接入的广告媒介中设定的所述目标广告媒介，加载所述目标广告媒介支持的指标数据的类型；根据所述用户所设定的指标数据的类型，加载所述类型的指标数据支持的筛选条件的维度；获取所述用户所设定的维度以及所设定维度的筛选条件。

综上所述，本发明实施例实现以下有益效果：

1)通过将不同广告媒介在三元组结构中与计算模型进行耦合的方式集中起来，支持对多种广告媒介的指标数据的筛选条件进行设定，从而实现了对多种广告媒介的指标数据进行统一查询的入口的效果，便于统一配置管理。

2)通过计算模型与广告媒介的数据字段之间的映射，形成广告媒介-计算模型-数据字段的三元组结构，使得异构网络能够通过计算模型间接映射到同一数据字段集合(全体数据字段)中的部分数据字段，通过数据字段集合打通了异构广告媒介的记录数据的数据结构存在差异而无法以统一的数据结构鵆的隔阂，实现了不同广告媒介的数据字段的融合，节省了存储资源的开销。

3)支持对广告媒介的重叠的数据字段的存储空间进行复用，鉴于广告媒介的数据字段繁多的情况，能够节省存储资源的开销；

4)对映射到重叠的数据字段的计算模型进行复用，对于不同的广告媒介映射到同一计算模型的情况，无需利用计算模型重复计算，实现的计算结果的服用，节省了计算资源的开销。

5)通过计算模型与广告媒介的耦合、以及计算模型与数据字段的耦合，将异构的广告媒介与广告媒介的繁多的数据字段之间复杂的连接关系成功解耦，广告媒介的变动在三元组结构中表现为广告媒介与计算模型的映射关系的更新，由于不涉及对变动的广告媒介与数据字段之间的复杂的映射关系进行修改，扩展性较强、健壮性较高，可达到广告媒介的变动而自适应管理的效果，节省了研发与维护成本。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件和软件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；

构建接入所述广告系统的广告媒介、计算模型集合以及所述记录数据的不同维度的数据字段之间的映射关系；

在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；

基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；

通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。

2.如权利要求1所述的方法，其特征在于，所述构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系，包括：

将所述广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述广告媒介所包括的至少部分数据字段进行计算的计算模型；

根据所述计算模型集合中的各计算模型进行计算时所需要的数据字段，将所述数据字段映射到所述数据字段集合中的相应数据字段。

3.如权利要求1所述的方法，其特征在于，还包括：

当所述广告系统接入新广告媒介时，根据所述新广告媒介对应的记录数据所包括的数据字段，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

4.如权利要求1所述的方法，其特征在于，还包括：

当所述广告系统接入广告媒介发生更新时，删除所述更新广告媒介与所述计算模型集合中计算模型的原映射关系，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

5.如权利要求1所述的方法，其特征在于，还包括：

当所述广告系统接入的广告媒介停止接入时，删除所述停止接入广告媒介与所映射的计算模型的映射关系。

6.如权利要求1所述的方法，其特征在于，还包括：

当不同所述广告媒介映射到所述数据字段集合中存在重叠的数据字段时，针对所述重叠的数据字段是复用相同的存储空间。

7.如权利要求1所述的方法，其特征在于，还包括：

当不同所述广告媒介映射到所述计算模型集合中相同的计算模型时，针对所述不同广告媒介复用所述相同计算模型计算结果。

8.如权利要求1所述的方法，其特征在于，所述从广告系统获取基于接入的广告媒介投放广告所形成的记录数据，包括：

从所述广告系统获取基于所述接入的广告媒介所投放广告的以下类型的记录数据：所述广告媒介中所投放广告的收入数据、曝光数据、点击数据和频次数据。

9.如权利要求1所述的方法，其特征在于，所述在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件，包括：

根据用户在所述接入的广告媒介中设定的所述目标广告媒介，加载所述目标广告媒介支持的指标数据的类型；根据所述用户所设定的指标数据的类型，加载所述类型的指标数据支持的筛选条件的维度；获取所述用户所设定的维度以及所设定维度的筛选条件。

10.一种数据处理装置，其特征在于，包括：

接入单元，用于从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；

构建单元，用于构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系；

获取单元，用于在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；

定位单元，用于基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；

计算单元，用于通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。

11.如权利要求10所述的装置，其特征在于，

所述构建单元，还用于将所述广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述广告媒介所包括的至少部分数据字段进行计算的计算模型；

所述构建单元，还用于根据所述计算模型集合中的各计算模型进行计算时所需要的数据字段，将所述数据字段映射到所述数据字段集合中的相应数据字段。

12.如权利要求10所述的装置，其特征在于，

所述构建单元，还用于当所述广告系统接入新广告媒介时，根据所述新广告媒介对应的记录数据所包括的数据字段，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

13.如权利要求10所述的装置，其特征在于，

所述构建单元，还用于当所述广告系统接入广告媒介发生更新时，删除所述映射关系中所述更新广告媒介与所述计算模型集合中计算模型的原映射关系，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。

14.如权利要求10所述的装置，其特征在于，

所述构建单元，还用于当所述广告系统接入的广告媒介停止接入时，删除所述映射关系中停止接入广告媒介与所映射的计算模型的映射关系。