CN104915329B - 一种报表生成方法、装置和系统 - Google Patents
一种报表生成方法、装置和系统 Download PDFInfo
- Publication number
- CN104915329B CN104915329B CN201510362271.6A CN201510362271A CN104915329B CN 104915329 B CN104915329 B CN 104915329B CN 201510362271 A CN201510362271 A CN 201510362271A CN 104915329 B CN104915329 B CN 104915329B
- Authority
- CN
- China
- Prior art keywords
- data
- real
- effect data
- time
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 197
- 238000012544 monitoring process Methods 0.000 claims description 22
- 230000001915 proofreading effect Effects 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 17
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种报表生成方法、装置和系统;本发明实施例采用获取用户对推广信息如广告的实时操作数据,将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;反之,若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据,然后根据该实时投放效果数据或离线投放效果数据生成报表;该方案可以灵活地根据当前的运行环境选择最合适的处理方式来生成报表,不仅可以保证可靠性和准确性,而且可以提高其数据处理效率,实现实时性。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种报表生成方法、装置和系统。
背景技术
大数据的背景下,在线广告推荐业务已经成为数据变现的重要途径。在线广告业务主要包括广告投放系统、广告计算系统及广告报表系统三部分,其中广告报表系统负责展示广告的曝光、点击及扣费等数据,可以反映出广告的实时投放效果,因此对于实时性、准确性与可靠性有着十分严格的要求。
现有的报表生成方案一般分为实时报表方案和离线报表方案。其中,实时报表方案一般通过流式计算系统对数据进行实时计算,然后将计算结果直接写入报表系统的数据库,并进行展示。而离线报表方案则一般通过数据接入系统将数据直接接入离线数据分析系统中,进行离线计算,完成之后将计算结果导出到报表展示系统中以进行展示。
在对现有技术的研究和实践过程中,本发明的发明人发现,虽然实时报表的实时性较高,但是,由于采用的是流式计算系统,其所有数据都保存在内存中,因此,一旦有宕机情况发生,内存数据便会全部丢失,导致计算结果不准确,可靠性不高;而离线方案虽然可靠性和准确性好,但是计算耗时较多,所以数据处理效率也较低。
发明内容
本发明实施例提供一种报表生成方法、装置和系统,可以在保证其可靠性和准确性的前提下,提高其数据处理效率,实现实时性。
本发明实施例提供一种报表生成方法,包括:
获取用户对推广信息的实时操作数据;
将所述实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;
若不存在故障,则根据所述实时操作数据计算所述推广信息的投放效果数据,得到实时投放效果数据;
若存在故障,则根据所述离线数据计算所述推广信息的投放效果数据得到离线投放效果数据;
根据所述实时投放效果数据或离线投放效果数据生成报表。
相应的,本发明实施例还提供一种报表生成装置,包括:
获取单元,用于获取用户对推广信息的实时操作数据;
监测单元,用于将所述实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;
实时计算单元,用于在不存在故障时,根据所述实时操作数据计算所述推广信息的投放效果数据,得到实时投放效果数据;
离线计算单元,用于在存在故障时,根据所述离线数据计算所述推广信息的投放效果数据得到离线投放效果数据;
生成单元,用于根据所述实时投放效果数据或离线投放效果数据生成报表。
此外,本发明实施例还提供一种信息推荐系统,包括本发明实施例提供的任一种报表生成装置。
本发明实施例采用获取用户对推广信息如广告的实时操作数据,将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;反之,若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据,然后根据该实时投放效果数据或离线投放效果数据生成报表;由于在运行环境正常的情况下,一般可以提供正确可靠的数据,因此,此时采用实时计算的方式来得到报表,不仅可以保证数据的实时性,提高数据处理效率,而且,也可以保证其正确性和可靠性;而在运行环境存在故障的情况下,本方案又可以以离线计算的方式作为补充,以保证数据的正确性和可靠性,因此,相对于现有方案而言,本方案可以更为灵活地根据当前的运行环境选择最合适的处理方式来生成报表,不仅可以保证可靠性和准确性,而且可以提高其数据处理效率,实现实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的报表生成方法的应用场景示意图;
图1b是本发明实施例提供的报表生成方法的流程图;
图2a是本发明实施例中广告推荐系统的结构示意图;
图2b是本发明实施例提供的报表生成方法的另一流程图;
图3是本发明实施例提供的报表生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种报表生成方法、装置和系统。
参见图1a,该信息推荐系统可以包括本发明实施例所提供的任一种报表生成装置;其中,该报表生成装置则主要基于用户对推广信息如广告的操作,计算各个推广信息所对应的投放效果数据,比如点击率、浏览量、下载量和/或扣费等,并根据这些投放效果数据生成报表;比如,具体可以获取用户对推广信息的实时操作数据,将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据;根据该实时投放效果数据或离线投放效果数据生成报表。
此外,参见图1a,该信息推荐系统还可以其他装置,比如信息投放装置和报表展示装置等(图1a仅示出信息投放装置和报表展示装置);其中,信息投放装置主要用于对需要进行推广的信息进行投放,比如将这些推广信息如广告等发送给各个用户终端,等等;而报表展示装置则是负责对生成的报表进行展示,比如发送给广告主终端,以供广告主查看,等等。
以下将该报表生成方法、装置和系统进行详细说明。
实施例一、
本实施例将从报表生成装置的角度进行描述,该报表生成装置具体可以信息推荐系统中,该信息推荐系统具体可以集成在服务器等设备中。
一种报表生成方法,包括:获取用户对推广信息的实时操作数据;将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据;根据该实时投放效果数据或离线投放效果数据生成报表。
如图1b所示,该报表生成方法的具体流程可以如下:
101、获取用户对推广信息的实时操作数据。
例如,具体可以实时获取用户对该推广信息的各种操作信息,比如用户浏览、点击和/或下载该推广信息时的操作信息,等等,然后根据该操作信息生成实时操作数据。
其中,推广信息指的是该信息推荐系统进行投放的信息,比如广告等。
102、将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则执行步骤103;反正,若存在故障,则执行步骤104。
例如,具体可以将该实时操作数据保存至数据仓库,如腾讯分布式数据仓库(TDW,Tencent distributed Data Warehouse)中,该TDW基于hadoop(一种分布式系统基础架构)架构,可以支撑海量数据的存储与离线计算。
其中,当前运行环境存在故障指的是当前运行环境出现宕机或网络故障等问题,对当前运行环境是否存在故障进行监测的方法可以有多种,比如,可以调用预置的监测进程,然后执行该监测进程,以对当前运行环境是否存在故障进行监测,等等,在此不再赘述。
103、在确定当前运行环境不存在故障时,根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据。
其中,投放效果数据可以包括该推广信息的浏览量、点击率、下载量和/或扣费等数据,即步骤“根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据”具体可以如下:
根据该实时操作数据计算该推广信息的浏览量、点击率、下载量和/或扣费等,对该浏览量、点击率、下载量和/或扣费进行统计,得到实时投放效果数据。
例如,具体可以采用流式实时计算系统,如腾讯数据处理系统(TDP,Tencent DataProcessing)来进行实时计算并统计,以得到实时投放效果数据,等等。
可选的,为了进一步提高所得数据的准确性和可靠性,还可以对这些数据进行校对,即,在步骤“根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据”之后,该报表生成方法还可以包括如下操作:
(1)根据该离线数据计算该推广信息的投放效果数据,得到离线投放效果数据。
例如,如果该离线数据存储在TDW中,则此时,可以由TDW根据该离线数据计算该推广信息的投放效果数据,比如根据该离线数据计算该推广信息的浏览量、点击率、下载量和/或扣费等,然后对该浏览量、点击率、下载量和/或扣费进行统计,得到离线投放效果数据。
(2)采用离线投放效果数据对该实时投放效果数据进行校对。
例如,具体可以将该离线投放效果数据和实时投放效果数据进行比较,若差异低于预置阈值,则确定校对通过;反之,若差异高于预置阈值,则确定校对不通过。
(3)若校对通过,则执行根据该实时投放效果数据生成报表的步骤,具体可参见步骤105;
(4)若校对不通过,则执行根据该离线投放效果数据生成报表的步骤,具体可参见步骤105。
104、在确定当前运行环境存在故障时,根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据。
例如,具体可以根据该离线数据计算该推广信息的浏览量、点击率、下载量和/或扣费等;对该浏览量、点击率、下载量和/或扣费进行统计,得到离线投放效果数据。
比如,若该离线数据存储在TDW中,则此时可以由TDW来计算该离线投放效果数据,此处计算方式与步骤103中的离线计算相同,详见步骤103,在此不再赘述。
105、根据该实时投放效果数据或离线投放效果数据生成报表。
其中,若此前已经得到实时投放效果数据,则此时可以根据实时投放效果数据生成报表,同理,若此前得到的是离线投放效果数据,那么此时,则可以根据离线投放效果数据生成报表。
其中,该报表的样式可以根据实际应用的需求预先进行设定,比如,可以预置多种报表模板以供用户选择,其中,每一种报表模板均具有报表模板信息,用于标识并描述其对应的报表模板;即,步骤“根据该实时投放效果数据或离线投放效果数据生成报表”具体可以如下:
获取报表模板信息,根据该报表模板信息和实时投放效果数据生成报表;或者,
获取报表模板信息,根据该报表模板信息和离线投放效果数据生成报表。
由上可知,本实施例采用获取用户对推广信息如广告的实时操作数据,将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;反之,若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据,然后根据该实时投放效果数据或离线投放效果数据生成报表;由于在运行环境正常的情况下,一般可以提供正确可靠的数据,因此,此时采用实时计算的方式来得到报表,不仅可以保证数据的实时性,提高数据处理效率,而且,也可以保证其正确性和可靠性;而在运行环境存在故障的情况下,本方案又可以以离线计算的方式作为补充,以保证数据的正确性和可靠性,因此,相对于现有方案而言,本方案可以更为灵活地根据当前的运行环境选择最合适的处理方式来生成报表,不仅可以保证可靠性和准确性,而且可以提高其数据处理效率,实现实时性。
实施例二、
根据实施例一所描述的方法,以下将举例作进一步详细说明。
在本实施例中,以该推广信息具体为广告,且该报表生成装置作为报表生成子系统集成在广告推荐系统中为例进行说明。
如图2a所示,该广告推荐系统可以包括广告投放子系统、报表展示子系统和报表生成子系统,其中,报表生成子系统可以包括海量数据接入模块、实时数据计算模块、存储模块、离线数据计算模块和报表生成模块等,如下:
(1)广告投放子系统;
该广告投放子系统,用于获取需要投放的广告数据,将获取到的广告数据投放给用户,并收集用户对该投放的广告数据所作出的操作,比如浏览、点击和/或下载等,得到相应的操作信息,将该操作信息上报给报表生成子系统。
(2)报表生成子系统;
该报表生成子系统可以包括海量数据接入模块、实时数据计算模块、存储模块、离线数据计算模块和报表生成模块等,如下:
a)海量数据接入模块:用于将广告投放子系统上报的操作信息接入,根据该操作信息生成实时操作数据,并分别将该实时操作数据传送给实时数据计算模块和存储模块。由于该操作信息的量较大,一般可以达到亿级流量,因此,该海量数据接入模块具体可以腾讯数据银行(TDBank,Tencent Data Bank)等海量数据接入系统来实现。
此外,该海量数据接入模块,还可以对当前运行环境是否存在故障进行监测。
b)实时数据计算模块:用于接收海量数据接入模块传送的实时操作数据,在确定当前运行环境不存在故障时,根据接收到的实时操作数据计算该广告数据的实时投放效果数据。
其中,该实时数据计算模块具体可以采用TDP来实现。
c)存储模块:用于基于内存存储,缓存实时数据计算模块的计算数据,包括计算过程中所涉及或产生的数据、以及得到的实时投放效果数据等,并向报表生成模块提供该实时投放效果数据。
其中,该存储模块可以采用多种方式来实现,比如,可以采用分布式KV(关键字-值,Key-Value)存储系统来实现。
d)离线数据计算模块:基于hadoop架构,可以支撑海量数据的存储与离线计算,用于接收海量数据接入模块传送的实时操作数据,将接收到的实时操作数据保存至离线数据中,作为容灾备份;此外,在确定当前运行环境存在故障时,还可以根据相应的离线数据离线计算该广告数据的离线投放效果数据,并向报表生成模块提供该离线投放效果数据。
可选的,该离线数据计算模块,还可以接收报表生成模块回写的实时投放效果数据,并采用离线投放效果数据对所述实时投放效果数据进行校对,若校对通过,则触发报表生成模块执行根据所述实时投放效果数据生成报表的操作;若校对不通过,则触发报表生成模块执行根据所述离线投放效果数据生成报表的操作。
其中,该离线数据计算模块可以采用TDW实现。
e)报表生成模块:用于根据该实时投放效果数据或离线投放效果数据生成报表,将该报表传送给报表展示子系统。其中,还可以将实时投放效果数据回写到离线数据计算模块(比如TDW)中,供数据校对使用。
(3)报表展示子系统;
报表展示子系统,用于接收报表生成子系统发送的报表,在接收到报表展示请求时,根据该报表展示请求对相应的报表进行展示。
基于上述广告推荐系统的结构,以下将对其执行流程进行详细说明。
一种报表生成方法,如图2b所示,具体流程可以如下:
201、广告投放子系统实时获取用户对投放的广告数据所作出的操作,比如浏览、点击和/或下载等,得到相应的操作信息,将该操作信息上报给报表生成子系统的海量数据接入模块。
202、海量数据接入模块在接收到该操作信息后,根据该操作信息生成实时操作数据,并将该实时操作数据传送给实时数据计算模块和离线数据计算模块。
203、海量数据接入模块对当前运行环境是否存在故障进行监测,若确定当前运行环境不存在故障,则触发实时数据计算模块执行步骤204,若确定当前运行环境存在故障,则触发离线数据计算模块执行步骤205。
例如,具体可以调用预置的监测进程,然后执行该监测进程,以对当前运行环境是否存在故障进行监测,等等。
204、实时数据计算模块接收海量数据接入模块传送的实时操作数据,在确定当前运行环境不存在故障时,根据接收到的实时操作数据计算该广告数据的实时投放效果数据。
例如,具体根据该实时操作数据计算该广告数据的浏览量、点击率、下载量和/或扣费等,对该浏览量、点击率、下载量和/或扣费进行统计,得到该广告数据的实时投放效果数据。
此后,实时数据计算模块可以将计算得到的实时投放效果数据传送给存储模块,由存储模块将该实时投放效果数据传送给报表生成模块。
可选的,为了进一步提高所得数据的准确性和可靠性,还可以对这些数据进行校对,即,在得到实时投放效果数据之后,还可以通过报表生成模块将该实时投放效果数据传送给离线数据计算模块,由离线数据计算模块计算该推广信息的投放效果数据,得到离线投放效果数据后,将离线投放效果数据和该实时投放效果数据进行比较,以进行校对,若校对通过,则触发报表生成模块执行根据该实时投放效果数据生成报表的操作,具体可参见步骤206,反而,若校对不通过,则触发报表生成模块执行根据该离线投放效果数据生成报表的操作,具体可参见步骤206。
205、离线数据计算模块接收海量数据接入模块传送的实时操作数据,将接收到的实时操作数据保存至离线数据中,作为容灾备份;在确定当前运行环境存在故障时,根据相应的离线数据离线计算该广告数据的离线投放效果数据,并向报表生成模块提供该离线投放效果数据。
例如,具体根据该离线数据计算该广告数据的浏览量、点击率、下载量和/或扣费等,对该浏览量、点击率、下载量和/或扣费进行统计,得到该广告数据的实时投放效果数据。
206、报表生成模块根据该实时投放效果数据或离线投放效果数据生成报表,将该报表传送给报表展示子系统。
其中,该报表的样式可以根据实际应用的需求预先进行设定,比如,可以预置多种报表模板以供用户选择,其中,每一种报表模板均具有报表模板信息,用于标识并描述其对应的报表模板,即步骤206具体可以如下:
报表生成模块获取报表模板信息,根据该报表模板信息和实时投放效果数据生成报表;或,
报表生成模块获取报表模板信息,根据该报表模板信息和离线投放效果数据生成报表。
207、报表展示子系统接收报表生成模块发送的报表,在接收到报表展示请求时,根据该报表展示请求对相应的报表进行展示。
例如,当广告主需要查看相应的广告数据的相关情况时,就可以通过广告提供商所在的客户端发送报表展示请求,报表展示子系统在接收到该报表展示请求后,便可以该报表展示请求获取相应的广告数据的报表,并进行展示,等等。
由上可知,本实施例采用获取用户对投放的广告数据的实时操作数据,将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测,若不存在故障,则根据该实时操作数据计算该广告数据的投放效果数据,得到实时投放效果数据;反之,若存在故障,则根据该离线数据计算该广告数据的投放效果数据得到离线投放效果数据,然后根据该实时投放效果数据或离线投放效果数据生成报表;由于在运行环境正常的情况下,一般可以提供正确可靠的数据,因此,此时采用实时计算的方式来得到报表,不仅可以保证数据的实时性,提高数据处理效率,而且,也可以保证其正确性和可靠性;而在运行环境存在故障的情况下,本方案又可以以离线计算的方式作为补充,以保证数据的正确性和可靠性,因此,相对于现有方案而言,本方案可以更为灵活地根据当前的运行环境选择最合适的处理方式来生成报表,不仅可以保证可靠性和准确性,而且可以提高其数据处理效率,实现实时性。
实施例三、
为了更好地实施以上方法,本发明实施例还提供一种报表生成装置,如图3所示,该报表生成装置包括获取单元301、监测单元302、实时计算单元303、离线计算单元304和生成单元305,如下:
获取单元301,用于获取用户对推广信息的实时操作数据。
例如,获取单元301,具体可以用于实时获取用户浏览、点击和/或下载该推广信息时的操作信息,根据该操作信息生成实时操作数据。
其中,推广信息指的是信息推荐系统进行投放的信息,比如广告等。
监测单元302,用于将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测。
其中,当前运行环境存在故障指的是当前运行环境出现宕机或网络故障等问题。
实时计算单元303,用于根据监测单元302的监测结果确定不存在故障时,根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据。
离线计算单元304,用于根据监测单元302的监测结果确定存在故障时,根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据。
生成单元305,用于根据该实时投放效果数据或离线投放效果数据生成报表。
例如,生成单元305,具体可以用于获取报表模板信息;根据该报表模板信息和该实时投放效果数据生成报表,或者,根据该报表模板信息和该离线投放效果数据生成报表。
其中,投放效果数据可以包括该推广信息的浏览量、点击率、下载量和/或扣费等数据,即:
实时计算单元303,具体用于根据该实时操作数据计算该推广信息的浏览量、点击率、下载量和/或扣费等,对该浏览量、点击率、下载量和/或扣费进行统计,得到实时投放效果数据。
离线计算单元304,具体可以用于根据该离线数据计算该推广信息的浏览量、点击率、下载量和/或扣费扥,对该浏览量、点击率、下载量和/或扣费进行统计,得到离线投放效果数据。
可选的,为了进一步提高所得数据的准确性和可靠性,还可以对这些数据进行校对,即该报表生成装置还可以包括校对单元,如下:
实时计算单元,还用于在根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据之后,将该实时投放效果数据发送给校对单元,并向该离线计算单元发送触发指令;
离线计算单元,还用于在接收到实时计算单元发送的触发指令时,根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据,将该离线投放效果数据发送给校对单元;
校对单元,用于采用离线投放效果数据对该实时投放效果数据进行校对,若校对通过,则触发生成单元执行根据该实时投放效果数据生成报表的操作;若校对不通过,则触发生成单元执行根据该离线投放效果数据生成报表的操作。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,例如,获取单元301和监测单元302可以作为实施例二中的海量数据接入模块,实时计算单元303可以作为实施例二中的实时数据计算模块和存储模块,离线计算单元304可以作为实施例二中的离线数据计算模块,而生成单元305则可以作为实施例二中的报表生成模块,等等,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该报表生成装置具体可以信息推荐系统中,该信息推荐系统具体可以集成在服务器等设备中。
由上可知,本实施例的报表生成装置的获取单元301可以获取用户对推广信息如广告的实时操作数据,将该实时操作数据保存至离线数据中,并由监考模块302对当前运行环境是否存在故障进行监测,若不存在故障,则由实时数据计算模块303根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;反之,若存在故障,则由离线数据计算模块304根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据,然后由生成模块305根据该实时投放效果数据或离线投放效果数据生成报表;由于在运行环境正常的情况下,一般可以提供正确可靠的数据,因此,此时采用实时计算的方式来得到报表,不仅可以保证数据的实时性,提高数据处理效率,而且,也可以保证其正确性和可靠性;而在运行环境存在故障的情况下,本方案又可以以离线计算的方式作为补充,以保证数据的正确性和可靠性,因此,相对于现有方案而言,本方案可以更为灵活地根据当前的运行环境选择最合适的处理方式来生成报表,不仅可以保证可靠性和准确性,而且可以提高其数据处理效率,实现实时性。
实施例四、
此外,本发明实施例还提供一种信息推荐系统,包括本发明实施例所提供的任一种报表生成装置,详见实施例三,例如,具体可以如下:
报表生成装置,用于获取用户对推广信息的实时操作数据;将该实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;若不存在故障,则根据该实时操作数据计算该推广信息的投放效果数据,得到实时投放效果数据;若存在故障,则根据该离线数据计算该推广信息的投放效果数据得到离线投放效果数据;根据该实时投放效果数据或离线投放效果数据生成报表。
可选的,为了进一步提高所得数据的准确性和可靠性,还可以对这些数据进行校对,即:
该报表生成装置,还可以用于在得到实时投放效果数据之后,根据该离线数据计算该推广信息的投放效果数据,得到离线投放效果数据,采用离线投放效果数据对该实时投放效果数据进行校对,若校对通过,则触发执行根据该实时投放效果数据生成报表的操作,若校对不通过,则触发执行根据该离线投放效果数据生成报表的操作。
此外,该信息推荐系统还可以包括其他的设备,比如信息投放装置,如下:
信息投放装置,用于向该报表生成装置上报用户浏览、点击和/或下载所述推广信息时的操作信息,以便该报表生成装置根据所述操作信息生成实时操作数据。
又比如,该信息推荐系统还可以包括报表展示装置,如下:
报表展示装置,用于对报表生成装置生成的报表进行展示,比如发送给广告主终端,以供广告主查看,等等。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由于信息推荐系统可以包括本发明实施例提供的任一种报表生成装置,因此,可以实现本发明实施例所提供的任一种报表生成装置的有益效果,详见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种报表生成方法、装置和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种报表生成方法,其特征在于,包括:
获取用户对推广信息的实时操作数据;
将所述实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;
若不存在故障,则根据所述实时操作数据计算所述推广信息的投放效果数据,得到实时投放效果数据,根据所述离线数据计算所述推广信息的投放效果数据,得到离线投放效果数据,采用离线投放效果数据对所述实时投放效果数据进行校对;若校对通过,则根据所述实时投放效果数据生成报表,若校对不通过,则根据所述离线投放效果数据生成报表;
若存在故障,则根据所述离线数据计算所述推广信息的投放效果数据得到离线投放效果数据,根据所述离线投放效果数据生成报表。
2.根据权利要求1所述的方法,其特征在于,根据所述实时投放效果数据或离线投放效果数据生成报表,包括:
获取报表模板信息;
根据所述报表模板信息和所述实时投放效果数据生成报表,或者,根据所述报表模板信息和所述离线投放效果数据生成报表。
3.根据权利要求1所述的方法,其特征在于,所述获取用户对推广信息的实时操作数据,包括:
实时获取用户浏览、点击和/或下载所述推广信息时的操作信息;
根据所述操作信息生成实时操作数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述实时操作数据计算所述推广信息的投放效果数据,包括:
根据所述实时操作数据计算所述推广信息的浏览量、点击率、下载量和/或扣费;
对所述浏览量、点击率、下载量和/或扣费进行统计,得到实时投放效果数据。
5.根据权利要求3所述的方法,其特征在于,所述根据所述离线数据计算所述推广信息的投放效果数据,包括:
根据所述离线数据计算所述推广信息的浏览量、点击率、下载量和/或扣费;
对所述浏览量、点击率、下载量和/或扣费进行统计,得到离线投放效果数据。
6.一种报表生成装置,其特征在于,包括:
获取单元,用于获取用户对推广信息的实时操作数据;
监测单元,用于将所述实时操作数据保存至离线数据中,并对当前运行环境是否存在故障进行监测;
实时计算单元,用于在不存在故障时,根据所述实时操作数据计算所述推广信息的投放效果数据,得到实时投放效果数据;
离线计算单元,用于在存在故障时,根据所述离线数据计算所述推广信息的投放效果数据得到离线投放效果数据;
生成单元,用于根据所述实时投放效果数据或离线投放效果数据生成报表;
所述实时计算单元,还用于在根据所述实时操作数据计算所述推广信息的投放效果数据,得到实时投放效果数据之后,将所述实时投放效果数据发送给校对单元,并向所述离线计算单元发送触发指令;
所述离线计算单元,还用于在接收到实时计算单元发送的触发指令时,根据所述离线数据计算所述推广信息的投放效果数据得到离线投放效果数据,将所述离线投放效果数据发送给校对单元;
所述校对单元,用于采用离线投放效果数据对所述实时投放效果数据进行校对,若校对通过,则触发生成单元执行根据所述实时投放效果数据生成报表的操作;若校对不通过,则触发生成单元执行根据所述离线投放效果数据生成报表的操作。
7.根据权利要求6所述的装置,其特征在于,
所述生成单元,具体用于获取报表模板信息;根据所述报表模板信息和所述实时投放效果数据生成报表,或者,根据所述报表模板信息和所述离线投放效果数据生成报表。
8.根据权利要求6所述的装置,其特征在于,
所述获取单元,具体用于实时获取用户浏览、点击和/或下载所述推广信息时的操作信息,根据所述操作信息生成实时操作数据。
9.根据权利要求8所述的装置,其特征在于,
所述实时计算单元,具体用于根据所述实时操作数据计算所述推广信息的浏览量、点击率、下载量和/或扣费;对所述浏览量、点击率、下载量和/或扣费进行统计,得到实时投放效果数据。
10.根据权利要求8所述的装置,其特征在于,
所述离线计算单元,具体用于根据所述离线数据计算所述推广信息的浏览量、点击率、下载量和/或扣费;对所述浏览量、点击率、下载量和/或扣费进行统计,得到离线投放效果数据。
11.一种信息推荐系统,其特征在于,包括权利要求6至10任一项所述的报表生成装置。
12.根据权利要求11所述的系统,其特征在于,还包括信息投放装置;
所述信息投放装置,用于向所述报表生成装置上报用户浏览、点击和/或下载所述推广信息时的操作信息,以便所述报表生成装置根据所述操作信息生成实时操作数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362271.6A CN104915329B (zh) | 2015-06-26 | 2015-06-26 | 一种报表生成方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362271.6A CN104915329B (zh) | 2015-06-26 | 2015-06-26 | 一种报表生成方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104915329A CN104915329A (zh) | 2015-09-16 |
CN104915329B true CN104915329B (zh) | 2018-03-13 |
Family
ID=54084401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510362271.6A Active CN104915329B (zh) | 2015-06-26 | 2015-06-26 | 一种报表生成方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104915329B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886527A (zh) * | 2015-12-16 | 2017-06-23 | 北京奇虎科技有限公司 | 一种面向业务的数据计算方法及装置 |
CN110362622B (zh) * | 2019-07-22 | 2022-06-10 | 江苏满运软件科技有限公司 | 基于实时数仓的实时流处理系统、方法、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103795697A (zh) * | 2012-11-01 | 2014-05-14 | 腾讯科技(深圳)有限公司 | 一种网络媒介信息投放效果模拟方法和系统 |
CN103942707A (zh) * | 2014-04-08 | 2014-07-23 | 北京璧合科技有限公司 | 基于实时竞价的广告效果优化系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010088605A2 (en) * | 2009-01-30 | 2010-08-05 | Invidi Technologies Corporation | System and method for auctioning avails |
-
2015
- 2015-06-26 CN CN201510362271.6A patent/CN104915329B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103795697A (zh) * | 2012-11-01 | 2014-05-14 | 腾讯科技(深圳)有限公司 | 一种网络媒介信息投放效果模拟方法和系统 |
CN103942707A (zh) * | 2014-04-08 | 2014-07-23 | 北京璧合科技有限公司 | 基于实时竞价的广告效果优化系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104915329A (zh) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3449205B1 (en) | Predictive rollup and caching for application performance data | |
US11961117B2 (en) | Methods and systems to evaluate and determine degree of pretense in online advertisement | |
US10459780B2 (en) | Automatic application repair by network device agent | |
US9356842B2 (en) | Method and system for browser based, non-intrusive measuring of end-user perceived performance of individual third party resource requests | |
US20190116084A1 (en) | Distributed metric data time rollup in real-time | |
CN104301136B (zh) | 故障信息上报及处理的方法及设备 | |
CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
US9112825B2 (en) | Performance monitoring of a media player launched by a web browser | |
US20170316007A1 (en) | Dynamic streaming of query responses | |
CN109905738B (zh) | 视频广告异常展现监测方法及装置、存储介质和电子设备 | |
CN103297291A (zh) | 网站实时状态监控方法及系统 | |
US10382298B2 (en) | Automatic web page load detection | |
CN105490854A (zh) | 实时日志收集方法、系统和应用服务器集群 | |
CN112367345B (zh) | 数据处理方法、服务端设备及计算机可读存储介质 | |
US11757910B2 (en) | Methods, systems, and media for detecting fraudulent activity based on hardware events | |
CN111611140B (zh) | 埋点数据的上报验证方法、装置、电子设备及存储介质 | |
US10191800B2 (en) | Metric payload ingestion and replay | |
CN106897053A (zh) | 一种代码发布方法与装置 | |
US11636065B2 (en) | Incremental data processing | |
US20170250890A1 (en) | Asynchronous transactions reported as critical path | |
US20190066153A1 (en) | Method and system for independent validation of asset serving | |
US9652488B2 (en) | Computer product, verification support method, and verification support apparatus | |
CN104915329B (zh) | 一种报表生成方法、装置和系统 | |
CN112734497A (zh) | 广告回流链路的数据诊断方法、装置、电子设备及介质 | |
US10171602B2 (en) | Determining device counts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |