CN101431760B - 业务报表实现方法及系统 - Google Patents

Abstract

本发明涉及一种业务报表实现方法和系统，该方法包括以下步骤：配置彼此分离的预处理服务器和后处理服务器，采集原始数据至预处理服务器或后处理服务器，预处理服务器对采集到自身的原始数据进行预处理操作，生成中间数据；采集中间数据至后处理服务器；后处理服务器对中间数据执行后处理操作生成业务报表，或对原始数据执行全部处理操作生成业务报表。通过本发明的业务报表实现方法和系统，能够更好地同步预处理操作和后处理操作、提高报表生成速度。

Description

业务报表实现方法及系统 

技术领域

本发明涉及电信增值业务实现技术，尤其是涉及一种业务报表实现方法及系统。 

背景技术

电信增值业务，例如彩信业务、彩铃业务、手机游戏和消息类业务等，是电信业一个重要的利润支撑点。对电信增值业务的各类数据进行有效的统计分析，将有助于指导业务开展、提高服务质量、提供决策支持以实现持续的利润增长。因此，有必要将各种类型的电信增值业务数据进行采集、分拣、整合和汇总，生成业务报表，展示给用户，执行这些功能的电信增值业务处理系统称为业务报表实现系统。 

现有技术中，业务报表实现方法和系统采用一台服务器，完成各种类型电信增值业务数据的采集、分拣、整合、汇总以及展示工作。一般说来，电信增值业务数据的分拣、清理、除错、更改属性以及统计汇总等处理操作十分繁琐，会影响后续处理操作的执行效率，这种情况随着电信增值业务系统的不断发展，使用人数的不断提升，业务报表实现系统的压力会变得越来越大。而一台服务器需要处理所有报表相关的数据，其性能提升和扩展的空间很小，将会造成处理能力难以满足要求。如果将报表系统拆分成多台服务器，又会造成各项电信增值业务数据无法很好的关联起来，也使得客户在获取业务报表、查询业务报表时操作更加繁琐。 

发明内容

有鉴于此，本发明的主要目的在于提供一种业务报表实现方法及系统，能分离繁重的预处理操作和需要高执行效率的后处理操作。 

为达到上述目的，本发明的技术方案是这样实现的： 

一种业务报表实现方法，用于包括业务服务器、一个以上预处理服务器和至少一个后处理服务器的系统中，该方法包括以下步骤：A、配置彼此分离的预处理服务器和后处理服务器；B、采集复杂原始数据至预处理服务器或采集简单原始数据至后处理服务器，预处理服务器对采集到自身的复杂原始数据进行预处理操作，生成中间数据，并采集中间数据至后处理服务器；C、后处理服务器对中间数据执行后处理操作生成业务报表，或对简单原始数据执行全部处理操作生成业务报表。 

本发明业务报表实现方法步骤A中，根据处理量比例关系确定所述预处理服务器和后处理服务器的数量关系。 

本发明业务报表实现方法步骤B中，所述预处理操作包括除错、或更新属性字段、或删除非法数据、或整合汇总操作中的一项或一项以上。 

采集复杂原始数据至预处理服务器并生成中间数据时，步骤B与步骤C之间进一步包括：删除预处理服务器上的中间数据。 

本发明业务报表实现方法步骤C之后进一步包括：将业务报表存储于特定区域，或根据用户业务报表查询或订阅指令，将业务报表传输给用户。 

本发明业务报表实现方法步骤B中，采集复杂原始数据至预处理服务器的操作包括以下步骤：B1、业务服务器将所述原始数据以文件的形式存储于预定区域，根据业务类型配置文件对该数据文件进行分拣和完整性检测，将错误数据文件筛选出来进行附加处理，将分拣出及附加处理后的数据文件的内容存储于业务服务器的数据库，并生成业务服务器文件；B2、将业务服务器数据库中的复杂原始数据及业务服务器文件采集至预处理服务器。 

一种业务报表实现系统，所述系统包括业务服务器、一个以上预处理服务器和至少一个后处理服务器，预处理服务器和后处理服务器彼此分离，其中，业务服务器，用于获取并存储原始数据；预处理服务器，用于从业务服务器采集复杂原始数据，并对其进行预处理操作，生成中间数据；后处理服务器，用于从预处理服务器采集中间数据或直接从业务服务器采集简单原始数据，对中间数据执行后处理操作生成业务报表，或对简单原始数据执行全部处理操作生 成业务报表。 

其中，所述预处理服务器和后处理服务器之间的数量比例关系符合处理量比例关系。 

本发明提出的业务报表实现方法，在处理过程中，将繁重的预处理操作与需要高执行效率的后处理操作分离开来，预处理操作提供便于后处理操作使用的中间数据，因此后处理操作执行效率高，能快速响应用户需求。 

本发明提出的业务报表实现系统，按处理量将繁重的预处理操作交由数量较多的预处理服务器执行，而较少的后处理服务器主要提供报表生成等少量需要高执行效率的后处理功能，预处理服务器和后处理服务器彼此分离，且根据处理量配置二者之间的数量比例关系，能够更好地同步预处理操作和后处理操作，响应速度快、功能划分明确、结构简单。 

附图说明

图1为本发明业务报表实现系统的拓扑结构图； 

图2为本发明业务报表实现方法的流程图。 

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。 

本发明的基本思想是：按处理量将繁重的预处理操作交由数量较多的预处理服务器执行，而数量较少的后处理服务器主要提供业务报表生成等少量需要高执行效率的后处理功能，预处理服务器和后处理服务器彼此分离，且根据处理量配置二者之间的数量比例关系。 

如图1所示，本发明的业务报表实现系统包括业务服务器、一台以上预处理服务器和至少一台后处理服务器，预处理服务器和后处理服务器彼此分离，所述预处理服务器和后处理服务器之间的数量比例关系符合处理量比例关系，其中， 

业务服务器，用于获取并存储原始数据，所述原始数据为各电信增值业务执行过程中所产生的数据，业务服务器将所述原始数据以文件的形式存储于预 定区域，所述预定区域可以是网络上指定的存储空间，也可是业务服务器上的缓存区域，经过分拣、完整性检测以及后续附加处理操作后的数据存储在业务服务器数据库中，另外业务服务器还保存有相关日志数据等业务服务器文件； 

预处理服务器，用于从业务服务器采集复杂的原始数据，并对其进行预处理操作，生成中间数据，其中，所述预处理操作包括除错、或更新属性字段、或删除非法数据、或整合汇总中操作的一项或数项，预处理服务器包括预处理数据库，用于存放中间数据，每项业务的原始数据专门由与其对应的预处理服务器执行预处理操作，因此不会出现现有技术中业务数据无法关联的问题。 

后处理服务器，用于从业务服务器采集简单的原始数据，或从预处理服务器采集中间数据，并对中间数据或简单的原始数据执行后处理操作或全部处理操作，生成业务报表，后处理服务器中设置有报表数据库，用于存放所生成的业务报表。 

预处理服务器和后处理服务器根据处理量配置二者之间的数量比例关系，但二者数量关系并不严格限定为等于处理量比例关系，按照处理量比例关系外，还可以有一定冗余量，例如按照同样的服务器配置方式处理同一批数据，预处理工作所需处理时间为后处理工作的10倍，则可以配置9-11台预处理服务器和一台后处理服务器进行业务报表实现工作。 

如图2所示，本发明的业务报表实现方法包括以下步骤： 

步骤101：配置彼此分离的预处理服务器和后处理服务器； 

其中，预处理服务器和后处理服务器的数量关系按照处理量比例所确定，但并不严格确定为处理量比例，可进一步考虑到其他突发性处理操作为预处理服务器或后处理服务器预留一定的冗余量，配置预处理服务器的原则是将一种业务的所有预处理操作交给一台预处理服务器，而一台预处理服务器可以完成一种或以上业务的预处理操作。 

步骤102：获取并存储原始数据，将复杂的原始数据以及相关业务服务器文件采集至预处理服务器； 

其中，复杂的原始数据为需要经过预处理的、不能由其直接生成业务报表 的原始数据。具体来说，步骤102进一步包含以下子步骤： 

步骤102a、业务服务器将所述原始数据以文件的形式存储于预定区域，根据业务类型配置文件对该数据文件进行分拣和完整性检测，将错误数据文件筛选出来进行附加处理，以供后续操作存入业务服务器数据库，并根据上述处理操作生成相关日志数据等业务服务器文件。 

其中，所述业务类型配置文件为根据业务类型所决定的业务数据的字段类型、长度、属性等，所述分拣操作为对数据文件按照其业务类型进行分类，或分开存放，或加以标识；完整性检测为根据业务类型配置文件对数据文件中的字段名称、属性等内容进行检测、长度判别等；错误数据文件是指无法通过完整性检测的数据文件，而附加处理为对错误数据文件进行再次分拣或人工处理，对无法通过附加处理的错误数据文件予以丢弃。 

存储所述数据文件后，根据预知的与业务类型对应的数据配置格式，通过数据库操作将数据文件的内容读入业务服务器数据库，之后，对原数据文件进行另存操作或予以丢弃，以便读入新的数据文件。所述数据库读入操作与现有技术中相关数据库操作兼容。另外，业务服务器还可以对业务服务器数据库中的数据加以标识，以区分复杂原始数据和简单原始数据。 

步骤102b、将业务服务器数据库中复杂原始数据及业务服务器文件采集至预处理服务器。 

所述采集操作为：预处理服务器调用数据库处理程序来实现数据的定期或实时采集，该操作的处理方式和现有技术中的数据库操作相兼容。 

步骤103：预处理服务器对复杂原始数据以及业务服务器文件进行预处理操作，生成中间数据。 

其中，所述预处理操作包括除错、或更新属性字段、或删除非法数据、或整合汇总中操作的一项或数项。 

所述除错操作是根据业务类型配置文件对原始数据中的错误内容进行清除；更新属性字段是指填入一些与业务类型相关的属性表关联字段等；删除非法数据是指删除重复登录数据、删除填写错误数据等；整合汇总操作为将属性 相同或相关的数据库内容进行合并、整理或排序等操作。     

经过上述操作中的一项或多项之后，预处理服务器根据原始数据生成中间数据，存储至预处理数据库中。 

步骤104：后处理服务器从预处理服务器采集中间数据，或直接从业务服务器采集简单的原始数据。 

从预处理服务器采集中间数据至后处理服务器，或直接从业务服务器采集简单的原始数据至后处理服务器的操作方式和步骤102b类似，后处理服务器调用数据库处理程序来实现中间数据或简单原始数据的定期或实时采集。 

步骤105：删除预处理服务器上的中间数据。 

为了给下次预处理操作准备存储空间，将本次预处理所产生的中间数据采集至后处理服务器后，即可将预处理服务器上的中间数据删除，当然也可选择不删除中间数据，这种情况下，本步骤可以省略。 

步骤106：后处理服务器对中间数据或简单原始数据执行后处理操作或全部处理操作生成业务报表。 

后处理服务器对于中间数据进行后处理操作，具体而言，根据业务类型的配置文件，导入业务报表结构等信息，按照业务报表格式要求将中间数据统计生成业务报表，并将业务报表写入报表数据库。 

后处理服务器对于简单原始数据，实现全部处理操作，直接生成业务报表，写入报表数据库。 

步骤107：将业务报表存储于预定区域以供调用查询，或根据用户业务报表查询、订阅指令，将业务报表传输给用户。 

后处理服务器生成业务报表后，根据服务需求，通过文件共享等方式将业务报表存储于特定区域，以供调用查询，或根据用户业务报表查询、订阅指令对用户提供报表服务、报表订阅服务等。所述报表服务包括报表的管理，查询和展示工作，并且提供web访问，文件共享，主动邮件推送等多种访问方式，供用户查看或订阅报表；报表订阅服务包括定期产生报表，以文件共享方式存档或邮件发送给客户等。 

举例说明本发明的业务报表实现方法如下：业务服务器采集原始数据后，所述原始数据为电信增值业务中的彩信服务数据，各种业务服务器上采集了大量包括彩信发送者、接收者、时间、流量和费用等信息的原始数据，预处理服务器上原有数据库处理程序将复杂原始数据从业务服务器上采集过来，进行分拣，将未通过检测的错误数据放入错误数据文件夹进行附加处理，将正确数据和附加处理后的数据写入预处理服务器的数据库；预处理服务器有数据库处理程序对采集到的复杂原始数据进行清理，把重复登录的数据和填写有错误的数据删除，根据业务类型对数据进行汇总，生成中间数据，写入预处理数据库；后处理服务器的数据库处理程序将各预处理服务器的中间数据采集到后处理服务器中，并将存储于预处理服务器上的中间数据清理掉；对简单数据直接采集汇总，比如性能统计数据等，生成业务报表，后处理服务器对于中间数据进行汇总整合等后处理操作，生成业务报表，将业务报表存储于报表数据库；后处理服务器生成业务报表后，根据服务需求，通过文件共享等方式将业务报表存储于特定区域，或对用户提供报表查询、报表订阅服务等。 

以上所述，仅为本发明的较佳实施例而已，并非用来限定本发明的保护范围。本领域内技术人员应该能够联想到，业务服务器对于原始数据进行其他类型的处理，预处理操作包含更多的操作内容，后处理采用更加复杂的方式，业务报表系统对用户提供更多类型的服务、或直接将所有数据都经过预处理和后处理两个阶段的处理操作、以及其它根据本发明的技术方案及其构思进行相应的等同改变或替换都应该属于本发明的保护范围。 

Claims (8)

1.一种业务报表实现方法，其特征在于，用于包括业务服务器、一个以上预处理服务器和至少一个后处理服务器的系统中，该方法包括以下步骤：

A、配置彼此分离的预处理服务器和后处理服务器；

B、采集复杂原始数据至预处理服务器或采集简单原始数据至后处理服务器，预处理服务器对采集到自身的复杂原始数据进行预处理操作，生成中间数据，并采集中间数据至后处理服务器；

C、后处理服务器对中间数据执行后处理操作生成业务报表，或对简单原始数据执行全部处理操作生成业务报表。

2.根据权利要求1所述的业务报表实现方法，其特征在于，步骤A中，根据处理量比例关系确定所述预处理服务器和后处理服务器的数量关系。

3.根据权利要求1所述的业务报表实现方法，其特征在于，步骤B中，所述预处理操作包括除错、或更新属性字段、或删除非法数据、或整合汇总操作中的一项或一项以上。

4.根据权利要求1所述的业务报表实现方法，其特征在于，采集复杂原始数据至预处理服务器并生成中间数据时，步骤B与步骤C之间进一步包括：删除预处理服务器上的中间数据。

5.根据权利要求1所述的业务报表实现方法，其特征在于，步骤C之后进一步包括：将业务报表存储于特定区域，或根据用户业务报表查询或订阅指令，将业务报表传输给用户。

6.根据权利要求1所述的业务报表实现方法，其特征在于，步骤B中，采集复杂原始数据至预处理服务器的操作包括以下步骤：

B1、业务服务器将所述原始数据以文件的形式存储于预定区域，根据业务类型配置文件对该数据文件进行分拣和完整性检测，将错误数据文件筛选出来进行附加处理，将分拣出及附加处理后的数据文件的内容存储于业务服务器的数据库，并生成业务服务器文件；

B2、将业务服务器数据库中的复杂原始数据及业务服务器文件采集至预处理服务器。

7.一种业务报表实现系统，其特征在于，所述系统包括业务服务器、一个以上预处理服务器和至少一个后处理服务器，预处理服务器和后处理服务器彼此分离，其中，

业务服务器，用于获取并存储原始数据；

预处理服务器，用于从业务服务器采集复杂原始数据，并对其进行预处理操作，生成中间数据；

后处理服务器，用于从预处理服务器采集中间数据或直接从业务服务器采集简单原始数据，对中间数据执行后处理操作生成业务报表，或对简单原始数据执行全部处理操作生成业务报表。

8.根据权利要求7所述的业务报表实现系统，其特征在于，所述预处理服务器和后处理服务器之间的数量比例关系符合处理量比例关系。

Images