CN107038218B - 报表处理方法和系统 - Google Patents

Abstract

本发明涉及一种报表处理方法和装置，该方法包括：获取报表生成指令；确定所述报表生成指令所指定的报表数据标识；从中间数据库中查询与指定的所述报表数据标识对应的中间数据；所述中间数据，是按照报表间复用的与所述报表数据标识对应的局部数据转化方式，对与所述报表数据标识相关的流水数据处理后生成的；根据查询到的所述中间数据生成报表数据；根据生成的所述报表数据生成报表。本发明提供的报表处理方法和装置，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。

Description

报表处理方法和系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种报表处理方法和系统。

背景技术

报表是用表格和图表等格式来显示数据的表。报表可以直观地展示数据差异，或者展示系列数据的变化趋势，为人们的生活和工作提供参考。比如，报表可以展示不同类型的网络下播放视频的用户数量对比图、不同类型的网络下视频播放次数的变化趋势图以及播放视频时的首次缓冲时长对比图等。通过报表中的这些图表，可以直观地反映视频服务质量，为提高视频服务质量提供重要参考依据。

目前，可以收集生成报表所需的各种数据，从而基于收集的数据生成报表。然而，虽然报表最终呈现的数据量小，但生成报表所涉及的数据量庞大，生成报表耗费的时间较长，导致生成报表效率较低的问题。

发明内容

基于此，有必要针对目前生成报表效率较低的问题，提供一种报表处理方法和系统。

一种报表处理方法，包括：

获取报表生成指令；

确定所述报表生成指令所指定的报表数据标识；

从中间数据库中查询与指定的所述报表数据标识对应的中间数据；所述中间数据，是按照报表间复用的与所述报表数据标识对应的局部数据转化方式，对与所述报表数据标识相关的流水数据处理后生成的；

根据查询到的所述中间数据生成报表数据；

根据生成的所述报表数据生成报表。

一种报表处理系统，包括：

中间数据服务器，用于运行中间数据库，在所述中间数据库中存储中间数据；

报表服务器，与所述中间数据服务器连接，用于获取报表生成指令；确定所述报表生成指令所指定的报表数据标识；从所述中间数据库中查询与指定的所述报表数据标识对应的中间数据；查询的中间数据，是按照报表间复用的与所述报表数据标识对应的局部数据转化方式，对与所述报表数据标识相关的流水数据处理后生成的；根据查询到的所述中间数据生成报表数据；根据生成的所述报表数据生成报表。

上述报表处理方法和系统，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。而且，中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的，不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率。

附图说明

图1为一个实施例中报表处理方法的应用环境图；

图2为一个实施例中服务器的内部结构示意图；

图3为一个实施例中报表处理方法的流程示意图；

图4为一个实施例中数据源配置页面的示意图；

图5为一个实施例中数据转化方式配置页面的示意图；

图6为一个实施例中报表样式配置页面的示意图；

图7为一个实施例中邮件配置页面的示意图；

图8为一个实施例中将流水数据库中的流水数据转化为中间数据并存储至中间数据库的步骤的流程示意图；

图9为另一个实施例中报表处理方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中报表处理方法的应用环境图。该报表处理方法应用于一种报表处理系统中。参照图1，该报表处理系统包括：依次连接的业务服务器121、数据存储服务器122、中间数据服务器123、报表服务器124和邮件服务器125。业务服务器121可与第一终端111连接通信，邮件服务器125可与第二终端112连接通信。

其中，业务服务器121用于向终端提供业务服务，业务服务具体可以是媒体服务、游戏服务或者即时通信服务等。媒体服务可以是音频服务和/或视频服务。数据存储服务器122用于运行流水数据库，在流水数据库中存储流水数据。中间数据服务器123用于运行中间数据库，在中间数据库中存储中间数据。报表服务器124用于实现报表生成功能。邮件服务器125用于提供邮件功能。

进一步地，该报表处理系统还可以包括：连接到业务服务器121的日志查询子系统131、连接到数据存储服务器122的流水数据查询子系统132、连接到中间数据服务器123的中间数据查询子系统133以及连接到报表服务器124的报表查询子系统134。

其中，日志查询子系统131用于查询业务服务器121记录的日志，具体可查询业务服务器121记录的流水数据。流水数据查询子系统132可用于查询在数据存储服务器122中存储的流水数据。中间数据查询子系统133可用于查询在中间数据服务器123中存储的中间数据。报表查询子系统134可用于查询由报表服务器124生成的报表。

在一个实施例中，中间数据服务器123，用于运行中间数据库，在中间数据库中存储中间数据。

报表服务器124，与中间数据服务器123连接，用于获取报表生成指令；确定报表生成指令所指定的报表数据标识；从中间数据库中查询与指定的报表数据标识对应的中间数据；查询的中间数据，是按照报表间复用的与报表数据标识对应的局部数据转化方式，对与报表数据标识相关的流水数据处理后生成的；根据查询到的中间数据生成报表数据；根据生成的报表数据生成报表。

在一个实施例中，中间数据服务器123还用于运行历史数据库，在历史数据库中存储历史报表的历史数据。

报表服务器124还用于从历史数据库中，查询与指定的报表数据标识对应的历史数据；还用于从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据；还用于根据查询到的历史数据和查询到的中间数据生成报表。

在一个实施例中，报表服务器124还用于对于从中间数据库中未查询到对应的中间数据的报表数据标识，从流水数据库中，读取与未查询到对应的中间数据的报表数据标识相关的流水数据；还用于根据相关的流水数据、查询到的历史数据和查询到的中间数据生成报表。

在一个实施例中，报表服务器124还用于获取报表自定义配置指令；根据报表自定义配置指令，生成配置信息并存储；还用于根据配置信息触发报表生成指令。

在一个实施例中，报表服务器124还用于获取预先配置的邮件正文文本和收件人地址；将邮件正文文本和生成的报表拼合为邮件正文。

邮件服务器125，用于根据收件人地址，发送包括邮件正文的电子邮件。

在一个实施例中，数据存储服务器122，用于运行流水数据库，从流水数据库中读取流水数据并发送至中间数据服务器123。

中间数据服务器123，还用于确定报表间复用的且与获取的流水数据适配的局部数据转化方式；按照确定的局部数据转化方式，对数据存储服务器122发送的流水数据进行转化，获得中间数据和相应的报表数据标识；将获得的中间数据与相应的报表数据标识对应存储至中间数据库。

在一个实施例中，业务服务器121，用于接收上报的流水数据；按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；将批量的流水数据发送至数据存储服务器122。

数据存储服务器122，还用于将批量的流水数据存储至流水数据库中。

在一个实施例中，业务服务器121，用于按照第一周期，定期将上报的流水数据存储至数据存储服务器122上的流水数据库；

数据存储服务器122还用于按照第二周期，定期获取流水数据库中的流水数据并发送至中间数据服务器123；第二周期的周期长度大于第一周期的周期长度。

上述报表处理系统，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。而且，中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的，不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率。

图2为一个实施例中服务器的内部结构示意图。该服务器可用作图1中的业务服务器121、数据存储服务器122、中间数据服务器123、报表服务器124、邮件服务器125、日志查询子系统131、流水数据查询子系统132、中间数据查询子系统133以及报表查询子系统134。

参照图2，服务器可以包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该服务器的非易失性存储介质存储有操作系统和数据库，数据库因服务器功能的不同而存储不同的数据，如存储流水数据、中间数据、历史数据或者报表等。该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种报表处理方法。该服务器的网络接口用于据以与外部连接通信，如与其它服务器或者与外部的终端连接通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图3为一个实施例中报表处理方法的流程示意图。本实施例主要以该方法应用于上述图1中的报表处理系统中来举例说明，可以理解，该方法还可以应用于独立的物理服务器或者其它与图1中的报表处理系统异构的服务器集群。

参照图3，该方法具体包括如下步骤：

S302，获取报表生成指令。

报表生成指令是用于生成报表的指令。该报表生成指令可指定生成报表所需的报表数据标识、该报表数据标识对应的数据转化方式以及报表的报表样式。

其中，报表数据标识表示生成的报表中包括的报表数据的类型，具体可以是衡量服务质量的指标。报表数据标识如使用指定类型的网络播放视频的用户数量、播放指定清晰度的视频的用户数量、使用指定类型的网络播放指定清晰度的视频的用户数量、在指定类型的网络下播放视频的次数、在指定类型的网络下播放视频时的首次缓冲时长、播放指定清晰度的视频时的首次缓冲时长以及在指定类型的网络下播放指定清晰度的视频时的首次缓冲时长等。其中清晰度可以是预设的多种清晰度中的一种，如高清晰度、标准清晰度或者低清晰度等，每种清晰度的标准是确定的。

报表数据标识对应的数据转化方式，是指生成该报表数据标识的报表数据所采用的数据转化方式，具体可以是衡量服务质量的指标的计算方式。数据转化方式可以用SQL(Structured Query Language，结构化查询语言)语句描述。报表的报表样式，是指报表中的报表数据组织并呈现的形式，如表格形式、图表形式以及文字形式等。其中，图表是可在显示屏中显示的，可直观展示统计信息属性的图形结构。图表具体可以是条形图、柱状图、折线图和饼图等。

具体地，报表服务器124可按照预先配置的报表生成条件，在满足报表生成条件时自动触发报表生成指令。报表生成条件如定时触发的条件或者事件驱动的条件。报表服务器124也可以接收来自于外部的报表生成指令，如接收来自于报表查询子系统134的报表生成指令。

S304，确定报表生成指令所指定的报表数据标识。

其中，报表生成指令所指定的报表数据标识，是生成报表时所需的报表数据的标识。具体地，报表生成指令可携带所指定的报表数据标识，报表服务器124可将该携带的报表数据标识作为该报表生成指令所指定的报表数据标识。报表生成指令也可以携带报表标识，报表服务器124可查询该报表标识对应的报表配置信息，获取该报表配置信息中配置的报表数据标识，将该报表数据标识作为报表生成指令所指定的报表数据标识。

S306，从中间数据库中查询与指定的报表数据标识对应的中间数据；该中间数据，是按照报表间复用的与报表数据标识对应的局部数据转化方式，对与报表数据标识相关的流水数据处理后生成的。

其中，中间数据库是存储中间数据的数据库。中间数据是用于生成报表数据的过渡数据，是对流水数据进行转化而生成的。流水数据是具有顺序的一系列数据，该顺序通常是按时序，如按时间升序。流水数据可用于记录用户数据，还可用于记录记录业务服务器121对该用户数据的反馈。用户数据可以是记录用户操作行为的数据。流水数据包括一个或多于一个的字段。

报表服务器124所连接的中间数据库可根据需要进行配置。具体地，报表服务器124可提供如图4所示的数据源配置页面，获取在该数据源配置页面中填入的中间数据库的配置参数，从而根据该配置参数连接到中间数据库。其中，配置参数比如中间数据服务器123的地址、配置名称、中间数据库的名称、用户名、密码、端口号、数据库类型以及超时时间等。报表服务器124可提供对多种数据库的支持，如MySQL，SQLServer，SQLLite，LevelDB，PostgreSQL等。报表服务器124支持远程连接。

与报表数据标识对应的局部数据转化方式，是与报表数据标识对应的数据转化方式的一部分，用于根据流水数据产生中间数据。该局部数据转化方式在不同的报表间复用，相应的中间数据也在报表间复用。复用是指共用。与报表数据标识相关的流水数据，是生成该报表数据标识的报表数据所需的流水数据。报表数据标识对应的中间数据，是生成报表数据所需的中间数据。复用局部数据转化方式的报表可以是历史报表。彼此间复用局部数据转化方式的报表数量可以是多于预设数量。预设数量可根据需要设定，至少为2。

举例说明，若业务服务器121提供视频业务，相应的流水数据可以包括日期字段、事件字段、应用版本号、SDK(Software Development Kit，开发工具包)版本号、用户标识、终端标识和终端型号。当事件字段表示播放视频时，流水数据还可以包括视频标识字段、网络类型字段、请求播放视频时间字段和开始播放视频时间字段等。

其中，开始播放视频时间字段和请求播放视频时间字段的差，为播放视频时的首次缓冲时长，可作为一种中间数据。还比如，包括相同视频标识的流水数据的数量，可表示该视频标识所表示的视频被播放的次数，可作为一种中间数据。还比如，包括相同网络类型字段和不同用户标识字段的流水数据的数量，可表示在该网络类型字段所表示类型的网络下播放视频的用户数量，可作为一种中间数据。

S308，根据查询到的中间数据生成报表数据。

具体地，报表服务器124可根据中间数据，按照与报表数据标识对应的数据转化方式，继续对中间数据进行转化，生成报表数据。

S310，根据生成的报表数据生成报表。

具体地，报表服务器124可按照预先配置的报表样式，将生成的报表数据组织成视图，形成报表。报表样式可以包括组成报表的控件和各个控件的布局。其中一个或多个控件用于展示报表数据。控件的布局如控件的位置、尺寸和排列顺序等。

上述报表处理方法，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。流水数据本身是多维度的，全方位的，数据量较大。而中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的。不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率，理论上可提高数据处理性能4～20倍。

在一个实施例中，在步骤S304之后，该报表处理方法还包括：从存储历史报表的历史数据的历史数据库中，查询与指定的报表数据标识对应的历史数据。步骤S306包括：从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据。步骤S308包括：根据查询到的历史数据和查询到的中间数据生成报表。

其中，历史数据存储于历史数据库，是历史报表的数据，具体可以是历史报表的中间数据或者报表数据。历史数据库可以与中间数据库共用一个数据库。

报表服务器124可先在历史数据库中查询与指定的报表数据标识对应的历史报表数据，若在历史数据库中查询到生成报表所需的所有数据，则直接根据查询到的历史数据生成报表。

报表服务器124若在历史数据库中未查询到生成报表所需的所有数据，则进一步在中间数据库中查询报表数据标识对应的、且未存储于历史数据库中的中间数据。生成报表所需的所有数据可由报表生成指令指定。是否查询到生成报表所需的所有数据，可通过查询已查询到的数据是否满足生成报表的数据筛选条件来判断。数据筛选条件可以是时间范围和/或流水数据数量。

报表服务器124若在中间数据库和历史数据库中查询到生成报表所需的所有数据，则将查询到的历史数据和查询到的中间数据做进一步处理，生成报表数据，从而根据报表数据生成报表。

本实施例中，将历史报表的历史数据存储在历史数据库中，在生成报表时就可以直接从历史数据库中取历史数据，并据此与中间数据一起生成报表，可进一步提高生成报表的效率。

在一个实施例中，在从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据的步骤之后，该报表处理方法还包括：对于从中间数据库中未查询到对应的中间数据的报表数据标识，从流水数据库中，读取与未查询到对应的中间数据的报表数据标识相关的流水数据。根据查询到的历史数据和查询到的中间数据生成报表的步骤包括：根据相关的流水数据、查询到的历史数据和查询到的中间数据生成报表。

具体地，报表服务器124若在中间数据库和历史数据库中未查询到生成报表所需的所有数据，则对于未查询到对应的中间数据的报表数据标识，继续从流水数据库中读取与该报表数据标识相关的流水数据。

进一步地，报表服务器124采用与未查询到对应的中间数据的报表数据标识所对应的数据转化方式，对相关的流水数据进行转化，生成与该报表数据标识对应的报表数据。

报表服务器124对查询到的中间数据，按照相应的数据转化方式进行进一步处理，得到相应的报表数据。报表服务器124将查询到的历史数据、对查询到的中间数据进行转化得到的报表数据以及对相关的流水数据进行转化得到的报表数据进行融合，得到最终的报表数据，从而根据最终的报表数据生成报表。

本实施例中，当在历史数据库和中间数据库中未查询到生成报表所需的所有数据时，则再从流水数据库中读取生成报表所需的流水数据，从而根据流水数据、查询到的历史数据和查询到的中间数据生成报表，保证生成的报表的准确性。

在一个实施例中，在步骤S302之前，该报表处理方法还包括：获取报表自定义配置指令；根据报表自定义配置指令，生成配置信息并存储；步骤S302包括：根据配置信息触发报表生成指令。

其中，报表自定义配置指令是对报表进行自定义配置的指令。报表服务器124可提供报表自定义配置页面，获取在该报表自定义配置页面中触发的报表自定义配置指令。报表服务器124具体可向报表查询子系统134提供报表自定义配置页面。

报表服务器124可根据报表自定义配置指令配置生成报表所需的配置信息。配置信息可以包括报表生成条件、报表数据标识、与报表数据标识对应的数据转化方式以及报表样式中的至少一种。配置的数据转化方式可用于确定报表间复用的局部数据转化方式。报表生成条件如定时触发的条件或者事件驱动的条件。

举例说明，报表服务器124可提供如图5所示的数据转化方式配置页面，获取在该数据转化方式配置页面中配置的报表数据标识(如SQL名称)，并获取在该数据转化方式配置页面中配置的SQL语句，作为与该报表数据标识对应的数据转化方式。

报表服务器124可进一步提供如图6所示的报表样式配置页面，获取在该报表样式配置页面中配置的报表样式并存储。报表样式如报表的控件和各个控件的布局，报表样式还可以包括分页显示时各个分页中显示的控件和控件的布局。控件的布局如控件的位置、尺寸和排列顺序等。控件如图表控件和查询控件。图表控件如条形图控件、多图视图控件、日历预览控件、表格控件、列表趋势图控件和链接按钮等。查询控件如下拉框控件、时间框控件、时间段控件、月份选择控件和文本输入框控件等。

本实施例中，用户可以根据需要进行自定义配置，生成配置信息，从而根据该配置信息来生成报表，可高效地生成满足用户自定义需求的报表。

在一个实施例中，在步骤S310之后，该报表处理方法还包括：获取预先配置的邮件正文文本和收件人地址；将邮件正文文本和生成的报表拼合为邮件正文；根据收件人地址，发送包括邮件正文的电子邮件。

具体地，报表服务器124可提供如图7所示的邮件配置页面，获取在该邮件配置页面中配置的邮件触发条件、文本和收件人地址并存储。邮件触发条件比如定时触发的条件或者事件驱动的条件。文本如邮件标题和邮件正文文本等。收件人地址可以是邮件组。报表服务器124可在满足邮件触发条件时，获取预先配置的邮件正文文本和收件人地址，按照配置的拼合方式，将邮件正文文本和生成的图表拼合为邮件正文，生成以获取的收件人地址为收件人地址并包括该邮件正文的电子邮件。报表服务器124将电子邮件发送至邮件服务器125，由邮件服务器125将电子邮件发送至收件人地址所对应的第二终端112。

本实施例中，通过电子邮件方式，方便了报表的传播。

在一个实施例中，在步骤S302之前，该报表处理方法还包括将流水数据库中的流水数据转化为中间数据并存储至中间数据库的步骤，参照图8，该步骤具体包括如下步骤：

S802，获取流水数据库中的流水数据。

具体地，数据存储服务器122可从其上运行的流水数据库中读取流水数据，并将流水数据发送至中间数据服务器123。中间数据服务器123也可以主动从数据存储服务器122上的流水数据库中拉取流水数据。

在一个实施例中，步骤S802包括：在空闲时或者达到设定的时间时，获取流水数据库中的流水数据。在一个实施例中，步骤S802包括：获取流水数据库中与上次获取流水数据时相比新增的流水数据。

S804，确定报表间复用的且与获取的流水数据适配的局部数据转化方式。

具体地，中间数据服务器123可确定与从流水数据库中获取的流水数据相适配的局部数据转化方式，该局部数据转化方式在多个报表间复用，且与预设的一个或多于一个的报表数据标识对应。预设的报表数据标识对应的局部数据转化方式，用于将流水数据转化为该预设的报表数据标识对应的中间数据。

在一个实施例中，中间数据服务器123可遍历报表间复用的所有的局部数据转化方式，找到能够对该获取的流水数据进行转化的局部数据转化方式，作为与该获取的流水数据适配的局部数据转化方式。与流水数据适配的局部数据转化方式，可以是能够处理该流水数据所包括的字段的局部数据转化方式。

在一个实施例中，可先确定报表间复用的当前需用到的局部数据转化方式，进而从流水数据库中，获取与当前需用到的局部数据转化方式适配的流水数据。

S806，按照确定的局部数据转化方式，对从流水数据库中获取的流水数据进行转化，获得中间数据和相应的报表数据标识。

具体地，中间数据服务器123按照局部数据转化方式将流水数据转化后，获得相应的中间数据。中间数据服务器123可获取该局部数据转化方式对应的报表数据标识，将该报表数据标识作为该中间数据的报表数据标识。局部数据转化方式对应的报表数据标识，是该局部数据转化方式所属的完整的数据转化方式所对应的报表数据标识。局部数据转化方式对应的报表数据标识可以是一个或多于一个。

举例说明，假设流水数据包括用户标识字段和网络类型字段，确定的局部数据转化方式用于统计不同网络类型下的用户数量。中间数据服务器123可遍历每种网络类型字段，分别从获取的流水数据中筛选出包括每种网络类型字段的流水数据，进而在筛选出的流水数据中，统计包括彼此不同的用户标识字段的流水数据的数量，从而得到每种网络类型下的用户数量。

S808，将获得的中间数据与相应的报表数据标识对应存储至中间数据库。

本实施例中，通过预处理，预先生成中间数据并存储在中间数据库中，不仅便于高效地生成报表，还便于在生成报表前对中间数据进行查询，从而进行预审查，保证能够有效、准确地生成报表。

在一个实施例中，该报表处理方法还包括：按照第一周期，定期将上报的流水数据存储至流水数据库；步骤S802包括：按照第二周期，定期获取流水数据库中的流水数据；第二周期的周期长度大于第一周期的周期长度。

具体地，业务服务器121可按照第一周期，定期将上报的流水数据发送至数据存储服务器122，由数据存储服务器122将定期发送的流水数据存储至流水数据库。

数据存储服务器122可按照第二周期，定期读取流水数据库中的流水数据，具体可以是新增的流水数据，将读取的流水数据发送至中间数据服务器123，由中间数据服务器123继续执行后续的步骤S804至S808。

其中第一周期的周期长度可以是[1,60)分钟，相应的第二周期的周期长度可以是[1,+∞)小时；第一周期的周期长度可以是[1,24)小时，相应的第二周期的周期长度可以是[1,+∞)自然日。

本实施例中，不同类型的数据分层存储在不同的数据库，按照不同的周期进行存储，不同的数据库有不同的延迟，可以根据需求在不同的数据库中查询数据，可尽量克服数据延迟高的问题。

在一个实施例中，在步骤S802之前，该报表处理方法还包括：接收上报的流水数据；按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；将批量的流水数据存储至流水数据库中。

具体地，业务服务器121可接收第一终端111上报的流水数据，从而直接按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据，从而将批量的流水数据发送至数据存储服务器122，由数据存储服务器122将批量的流水数据存储至流水数据库中。

在一个实施例中，业务服务器121也可以将上报的流水数据传递至数据中转服务器(图中未示出)，由中转服务器按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据，将批量的流水数据发送至数据存储服务器122，由数据存储服务器122将批量的流水数据存储至流水数据库中。

其中，按照上报来源和上报时间整合流水数据为批量的流水数据，具体可将相同上报来源和上报时间连续的一系列流水数据整合为批量的流水数据，一个批量的流水数据中流水数据的数量可以限定为不超过预定数量。

本实施例中，将上报的流水数据按照上报来源和上报时间整合为批量的流水数据后，存储至流水数据库中，可以保证时效性、流水数据之间的相关性和资源占用的平衡。

图9为一个具体的实施例中报表处理方法的流程示意图。参照图9，该报表处理方法具体包括如下步骤：

S902，第一终端111产生流水数据，将流水数据加入上报队列。

具体地，第一终端111在运行过程中，若产生设定的操作行为，则生成需要上报的流水数据，并将流水数据加入上报队列。其中，设定的操作行为比如播放视频的行为。

S904，第一终端111在满足预设条件时启动上报任务，将上报队列中的流水数据上报至业务服务器121。

其中，预设条件如应用程序被关闭、应用程序进入后台状态、定时触发条件、上报队列中流水数据超过预设值或上报队列中流水数据占比超过预设占比等。应用程序可以是流水数据记录的数据所针对的应用程序，如视频播放客户端。

第一终端111可从上报队列中逐个取流水数据并序列化为序列化数据，通过第一终端111上安装的接口程序，向业务服务器121上报序列化数据。业务服务器121接收到序列化数据后，将序列化数据反序列化，得到上报的流水数据。

其中，序列化(Serialization)是一种将对象以一连串的字节描述的过程；反序列化(Deserialization)是一种将这些字节重建成一个对象的过程。序列化数据可以是二进制数据。序列化时可采用Protobuffer或者DataStream等序列化算法。

S906，业务服务器121接收第一终端111上报的流水数据，将上报的流水数据暂存在本地的数据库中，并输出记录有上报的流水数据的日志。

其中，业务服务器121可接收日志查询子系统131发起的查询请求，根据该查询请求中的查询条件查询日志，向日志查询子系统131返回查询到的日志。日志查询可用于实时问题定位，时效性强。业务服务器121本地的数据库可采用MySQL数据库。

S908，业务服务器121按照第一周期，定期将本地的数据库中的流水数据发送至数据存储服务器122。

其中，第一周期的周期长度如一小时。业务服务器121还可以将本地的数据库中的流水数据分流至其它需要流水数据的系统。

S910，数据存储服务器122接收业务服务器121定期发送的流水数据，并将接收到的流水数据以文件形式存储至本地的流水数据库中。

其中，数据存储服务器122是大规模数据存储系统，可以是Hive(基于Hadoop的一种数据仓库工具，Hadoop是一种分布式系统基础架构)数据库服务器集群。数据存储服务器122可接收流水数据查询子系统132发送的查询请求，根据该查询请求中的查询条件查询流水数据，向流水数据查询子系统132返回查询到的流水数据。其中的查询条件，可以自定义运算并设定属性筛选条件，可从多个维度分析流水数据。

S912，数据存储服务器122按照周期长度大于第一周期的第二周期，定期获取流水数据库中的流水数据并发送至中间数据服务器123。

其中，第二周期的周期长度如一个自然日，具体可以是每个自然日的凌晨时间段(如0:00至6:00)内读取流水数据并发送。凌晨时间段负载较低，可避免对数据存储服务器122造成大的影响。

S914，中间数据服务器123按照报表间复用的且与获取的流水数据适配的局部数据转化方式，对从流水数据库中获取的流水数据进行转化，获得中间数据和相应的报表数据标识，将获得的中间数据与相应的报表数据标识对应存储至中间数据服务器123上的中间数据库。

其中，生成的中间数据的数据格式，是报表服务器124可读取的数据格式。中间数据服务器123可接收中间数据查询子系统133发送的查询请求，根据该查询请求中的查询条件查询中间数据，向中间数据查询子系统133返回查询到的中间数据。中间数据的查询，可用于对报表数据的预审查，确保后期生成的报表的有效性和准确性。

S916，中间数据服务器123完成转化后，生成报表生成指令并发送至报表服务器124。

S918，报表服务器124根据报表生成指令和自定义配置的配置信息，确定报表数据标识，从中间数据库中查询与报表数据标识对应的中间数据；根据查询到的中间数据生成报表数据；根据配置信息和生成的报表数据生成报表。

其中报表服务器124可接收报表查询子系统134发送的查询请求，根据该查询请求中的查询条件查询报表，并向报表查询子系统134返回查询到的报表。报表服务器124还可以接收报表查询子系统134发送的报表编辑指令，根据该报表编辑指令编辑报表。用户可通过报表查询子系统134对报表进行确认和调试。报表查询子系统134还可以用于从报表服务器124查询生成报表时产生的错误。

S920，报表服务器124将报表生成为电子邮件，并以配置的邮件组为收件人，将电子邮件发送至邮件服务器125。

S922，邮件服务器125将电子邮件发送至相应的邮件组。

本实施例中，不同类型的数据分层存储在不同的数据库，按照不同的周期进行存储，不同的数据库有不同的延迟，可以根据需求在不同的数据库中查询数据，可尽量克服数据延迟高的问题。

而且，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。

再者，中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的，不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器在执行该计算机程序时实现以下步骤：获取报表生成指令；确定报表生成指令所指定的报表数据标识；从中间数据库中查询与指定的报表数据标识对应的中间数据；中间数据，是按照报表间复用的与报表数据标识对应的局部数据转化方式，对与报表数据标识相关的流水数据处理后生成的；根据查询到的中间数据生成报表数据；根据生成的报表数据生成报表。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在确定报表生成指令所指定的报表数据标识之后，从存储历史报表的历史数据的历史数据库中，查询与指定的报表数据标识对应的历史数据。从中间数据库中查询与指定的报表数据标识对应的中间数据包括：从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据。根据查询到的中间数据生成报表数据包括：根据查询到的历史数据和查询到的中间数据生成报表数据。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据之后，对于从中间数据库中未查询到对应的中间数据的报表数据标识，从流水数据库中，读取与未查询到对应的中间数据的报表数据标识相关的流水数据。根据查询到的历史数据和查询到的中间数据生成报表包括：根据相关的流水数据、查询到的历史数据和查询到的中间数据生成报表。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在获取报表生成指令之前，获取报表自定义配置指令；根据报表自定义配置指令，生成配置信息并存储。获取报表生成指令包括：根据配置信息触发报表生成指令。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在根据生成的报表数据生成报表之后，获取预先配置的邮件正文文本和收件人地址；将邮件正文文本和生成的报表拼合为邮件正文；根据收件人地址，发送包括邮件正文的电子邮件。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在获取报表生成指令之前，获取流水数据库中的流水数据；确定报表间复用的且与获取的流水数据适配的局部数据转化方式；按照确定的局部数据转化方式，对从流水数据库中获取的流水数据进行转化，获得中间数据和相应的报表数据标识；将获得的中间数据与相应的报表数据标识对应存储至中间数据库。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：在获取流水数据库中的流水数据之前，接收上报的流水数据；按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；将批量的流水数据存储至流水数据库中。

在一个实施例中，该处理器在执行该计算机程序时实现以下步骤：按照第一周期，定期将上报的流水数据存储至流水数据库。获取流水数据库中的流水数据包括：按照第二周期，定期获取流水数据库中的流水数据；第二周期的周期长度大于第一周期的周期长度。

上述计算机设备，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。而且，中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的，不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机可读指令，该计算机可读指令被处理器执行时实现以下步骤：获取报表生成指令；确定报表生成指令所指定的报表数据标识；从中间数据库中查询与指定的报表数据标识对应的中间数据；中间数据，是按照报表间复用的与报表数据标识对应的局部数据转化方式，对与报表数据标识相关的流水数据处理后生成的；根据查询到的中间数据生成报表数据；根据生成的报表数据生成报表。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在确定报表生成指令所指定的报表数据标识之后，从存储历史报表的历史数据的历史数据库中，查询与指定的报表数据标识对应的历史数据。从中间数据库中查询与指定的报表数据标识对应的中间数据包括：从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据。根据查询到的中间数据生成报表数据包括：根据查询到的历史数据和查询到的中间数据生成报表数据。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在从中间数据库中查询与指定的报表数据标识对应的、且未存储于历史数据库中的中间数据之后，对于从中间数据库中未查询到对应的中间数据的报表数据标识，从流水数据库中，读取与未查询到对应的中间数据的报表数据标识相关的流水数据。根据查询到的历史数据和查询到的中间数据生成报表包括：根据相关的流水数据、查询到的历史数据和查询到的中间数据生成报表。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在获取报表生成指令之前，获取报表自定义配置指令；根据报表自定义配置指令，生成配置信息并存储。获取报表生成指令包括：根据配置信息触发报表生成指令。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在根据生成的报表数据生成报表之后，获取预先配置的邮件正文文本和收件人地址；将邮件正文文本和生成的报表拼合为邮件正文；根据收件人地址，发送包括邮件正文的电子邮件。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在获取报表生成指令之前，获取流水数据库中的流水数据；确定报表间复用的且与获取的流水数据适配的局部数据转化方式；按照确定的局部数据转化方式，对从流水数据库中获取的流水数据进行转化，获得中间数据和相应的报表数据标识；将获得的中间数据与相应的报表数据标识对应存储至中间数据库。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：在获取流水数据库中的流水数据之前，接收上报的流水数据；按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；将批量的流水数据存储至流水数据库中。

在一个实施例中，该计算机可读指令被处理器执行时实现以下步骤：按照第一周期，定期将上报的流水数据存储至流水数据库。获取流水数据库中的流水数据包括：按照第二周期，定期获取流水数据库中的流水数据；第二周期的周期长度大于第一周期的周期长度。

上述计算机可读存储介质，通过预先生成中间数据并存储在中间数据库中的预处理，在生成报表时，就能够直接从中间数据库中读取中间数据，根据该中间数据生成报表，避免了即时计算报表数据所需的耗时，提高了生成报表的效率。而且，中间数据是按照报表间复用的数据转化方式，对流水数据进行转化后生成的，不同的报表间数据转化方式的复用，可以准确、有效地确定有可能会用到的中间数据，可有效提高生成报表的效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种报表处理方法，包括：

提供数据源配置页面和报表自定义配置页面；

获取在所述数据源配置页面中填入的中间数据库的配置参数，根据所述配置参数连接到所述中间数据库；以及，获取在所述报表自定义配置页面中触发的报表自定义配置指令；根据所述报表自定义配置指令，生成配置信息并存储，所述配置信息包括报表生成条件、报表数据标识、与报表数据标识对应的数据转化方式以及报表样式中的至少一种，所述与报表数据标识对应的数据转化方式，是指生成所述报表数据标识的报表数据所采用的数据转化方式；根据所述配置信息触发报表生成指令；

确定所述报表生成指令所指定的报表数据标识；所述报表数据标识表示生成的报表中包括的报表数据的类型；

从历史数据库中，查询与指定的所述报表数据标识对应的历史报表数据；

若在所述历史数据库中查询到生成报表所需的所有数据，则直接根据查询到的历史报表数据生成报表；

若在所述历史数据库中未查询到生成报表所需的所有数据，则从所述中间数据库中查询与指定的所述报表数据标识对应的、且未存储于所述历史数据库中的中间数据；所述中间数据，是按照报表间复用的与所述报表数据标识对应的局部数据转化方式，对与所述报表数据标识相关的流水数据处理后生成的；

若在所述中间数据库和所述历史数据库中查询到生成报表所需的所有数据，则处理查询到的所述历史报表数据和所述中间数据得到报表数据，根据处理后得到的所述报表数据生成报表；

若在所述中间数据库和所述历史数据库中未查询到生成报表所需的所有数据，则对于未查询到对应的中间数据的报表数据标识，继续从流水数据库中，读取与所述报表数据标识相关的流水数据；

采用与未查询到对应的中间数据的报表数据标识所对应的数据转化方式，对所述相关的流水数据进行转化，生成与所述报表数据标识对应的报表数据；

将所述历史报表数据、对查询到的所述中间数据进行转化得到的报表数据以及对所述相关的流水数据进行转化得到的报表数据，生成最终的报表数据；

根据生成的所述最终的报表数据生成报表；

其中，所述流水数据库存储流水数据的周期不同于所述中间数据库存储中间数据的周期。

2.根据权利要求1所述的方法，其特征在于，所述中间数据库是存储中间数据的数据库。

3.根据权利要求1所述的方法，其特征在于，所述根据生成的所述最终的报表数据生成报表之后，所述方法还包括：

获取预先配置的邮件正文文本和收件人地址；

将所述邮件正文文本和生成的报表拼合为邮件正文；

根据所述收件人地址，发送包括所述邮件正文的电子邮件。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

获取所述流水数据库中的流水数据；

确定报表间复用的且与获取的流水数据适配的局部数据转化方式；

按照确定的所述局部数据转化方式，对从所述流水数据库中获取的流水数据进行转化，获得中间数据和相应的报表数据标识；

将获得的所述中间数据与相应的报表数据标识对应存储至所述中间数据库。

5.根据权利要求4所述的方法，其特征在于，所述获取所述流水数据库中的流水数据之前，所述方法还包括：

接收上报的流水数据；

按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；

将所述批量的流水数据存储至所述流水数据库中。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

按照第一周期，定期将上报的流水数据存储至所述流水数据库；

所述获取所述流水数据库中的流水数据包括：

按照第二周期，定期获取所述流水数据库中的流水数据；所述第二周期的周期长度大于所述第一周期的周期长度。

7.一种报表处理系统，其特征在于，包括：

中间数据服务器，用于运行中间数据库，在所述中间数据库中存储中间数据；

报表服务器，与所述中间数据服务器连接，用于提供数据源配置页面和报表自定义配置页面；获取在所述数据源配置页面中填入的中间数据库的配置参数，根据所述配置参数连接到所述中间数据库；以及，获取在所述报表自定义配置页面中触发的报表自定义配置指令；根据所述报表自定义配置指令，生成配置信息并存储，所述配置信息包括报表生成条件、报表数据标识、与报表数据标识对应的数据转化方式以及报表样式中的至少一种，所述与报表数据标识对应的数据转化方式，是指生成所述报表数据标识的报表数据所采用的数据转化方式；根据所述配置信息触发报表生成指令；确定所述报表生成指令所指定的报表数据标识；所述报表数据标识表示生成的报表中包括的报表数据的类型；从历史数据库中，查询与指定的所述报表数据标识对应的历史报表数据；若在所述历史数据库中查询到生成报表所需的所有数据，则直接根据查询到的历史报表数据生成报表；若在所述历史数据库中未查询到生成报表所需的所有数据，则从所述中间数据库中查询与指定的所述报表数据标识对应的、且未存储于所述历史数据库中的中间数据；所述中间数据，是按照报表间复用的与所述报表数据标识对应的局部数据转化方式，对与所述报表数据标识相关的流水数据处理后生成的；若在所述中间数据库和所述历史数据库中查询到生成报表所需的所有数据，则处理查询到的所述历史报表数据和所述中间数据得到报表数据，根据处理后得到的所述报表数据生成报表；若在所述中间数据库和所述历史数据库中未查询到生成报表所需的所有数据，则对于未查询到对应的中间数据的报表数据标识，继续从流水数据库中，读取与所述报表数据标识相关的流水数据；采用与未查询到对应的中间数据的报表数据标识所对应的数据转化方式，对所述相关的流水数据进行转化，生成与所述报表数据标识对应的报表数据；将所述历史报表数据、对查询到的所述中间数据进行转化得到的报表数据以及对所述相关的流水数据进行转化得到的报表数据，生成最终的报表数据；根据生成的所述最终的报表数据生成报表；

其中，所述流水数据库存储流水数据的周期不同于所述中间数据库存储中间数据的周期。

8.根据权利要求7所述的系统，其特征在于，所述中间数据服务器还用于运行所述历史数据库。

9.根据权利要求7所述的系统，其特征在于，所述报表服务器还用于获取预先配置的邮件正文文本和收件人地址；将所述邮件正文文本和生成的报表拼合为邮件正文；

所述系统还包括邮件服务器，用于根据所述收件人地址，发送包括所述邮件正文的电子邮件。

10.根据权利要求7至9中任一项所述的系统，其特征在于，所述系统还包括：

数据存储服务器，用于运行所述流水数据库，从所述流水数据库中读取流水数据并发送至所述中间数据服务器；

所述中间数据服务器，还用于确定报表间复用的且与获取的流水数据适配的局部数据转化方式；按照确定的所述局部数据转化方式，对所述数据存储服务器发送的流水数据进行转化，获得中间数据和相应的报表数据标识；将获得的所述中间数据与相应的报表数据标识对应存储至所述中间数据库。

11.根据权利要求10所述的系统，其特征在于，所述系统还包括业务服务器；

所述业务服务器，用于接收上报的流水数据；按照上报来源和上报时间，将相应的上报的流水数据整合为批量的流水数据；将所述批量的流水数据发送至所述数据存储服务器；

所述数据存储服务器，还用于将所述批量的流水数据存储至所述流水数据库中。

12.根据权利要求10所述的系统，其特征在于，所述系统还包括：

业务服务器，用于按照第一周期，定期将上报的流水数据存储至所述数据存储服务器上的流水数据库；

所述数据存储服务器，还用于按照第二周期，定期获取所述流水数据库中的流水数据并发送至所述中间数据服务器；所述第二周期的周期长度大于所述第一周期的周期长度。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。