CN101615176A

CN101615176A - 一种数据监测系统及实现方法

Info

Publication number: CN101615176A
Application number: CN200910162032A
Authority: CN
Inventors: 陈雅平
Original assignee: BEIJING XIECHENG ZHIYUAN NETWORK TECHNOLOGY Co Ltd
Current assignee: BEIJING XIECHENG ZHIYUAN NETWORK TECHNOLOGY Co Ltd
Priority date: 2009-08-07
Filing date: 2009-08-07
Publication date: 2009-12-30
Anticipated expiration: 2029-08-07
Also published as: CN101615176B

Abstract

本发明的目的在于提出一种移动数据业务监测中的报表生成系统，通过将负责报表处理和生成的模块独立出来，使得该报表服务器模块能够针对移动数据多业务的特点，提供灵活、可配置的、方便扩展的各种类型的报表。系统组成包括数据采集模块、报表服务器模块和数据存储模块。所述的数据采集模块，负责从各个网元设备处实时采集各业务数据；所述的报表服务器模块，按照用户需求灵活的部署和定制各业务下各种报表的生成方案，并按照该方案生成相应的报表；所述的数据存储模块，负责存储经过报表服务器模块处理产生的各类报表。该发明在报表处理和实现部分，设计灵活高效，可根据需求进行配置，可扩展性好。

Description

一种数据监测系统及实现方法

技术领域

本发明涉及通信领域，特别涉及一种实时数据采集监测系统及其实现方法。

背景技术

近年来，随着3G时代的到来，移动数据业务的不断向前发展，各种新业务也不断推陈出新，数据业务所涵盖的范围已经从传统的基于文本的简单业务类型发展到集成了文字、图片、视频流的多媒体业务类型。一方面，业务数据量的不断扩大给这些业务的实时测、分析和挖掘带来了困难；另一方面，数据业务的不断发展在客观上又需要更为精确、灵活的检测和分析报告，以方便业务维护部门和市场部门能够更好的定位业务故障，了解业务运行和发展状况，挖掘客户行为等。

但是，在目前各个厂商提供的数据业务监测系统中，对于报表处理和生成的解决方案一般包括两类。这两类方案在较小数据量和少量业务报表要求的情况下，基本能够满足需求；但是在大业务量和多业务类型下的就会存在问题。这两类方案包括：一类将报表生成和管理功能实现于数据采集模块之中，在完成业务数据采集的同时，完成对该业务各类报表的输出。这类实现方式存在两个缺陷：首先，该方案是业务相关的，即开发人员必须针对某一特定业务开发相应的报表系统，随着各业务类型层出不穷，开发难度相对较大，部署周期也较长，此外，由于不同的业务的采集点可能不同，更加大了报表系统的部署难度；其次，由于业务量增大，数据采集分析模块本身的负载已经很重，难以承受复杂的统计功能的运算要求，必然导致在统计时间点影响数据的采集分析，造成业务丢失。另一类则将报表系统实现的任务分配给数据存储模块，通过在数据存储模块中编写存储过程，完成对各业务报表的生成和存储。这类实现方案的缺点是：数据存储模块本身仅支持一些基本的数学运算和统计功能，不能满足运营商日益增长的对多业务多类型报表呈现的需求，例如对业务的深度挖掘和分析等；此外，在数据存储模块中实现报表生成和统计功能，同样，在统计时间点，由于大量的统计运算，影响数据存储的效率，造成业务丢失。

为了解决上述问题，一个灵活的、可配置的、可扩展的专门为各个业务提供报表服务的独立的服务器模块是必须的。本发明基于这点，提出了数据监测系统和实现方法。

发明内容

本发明的目的在于提出一种移动数据业务监测中的报表生成系统和方法，通过将负责报表处理和生成的模块独立出来，使得该报表服务器模块能够针对移动数据多业务的特点，提供灵活、可配置的、方便扩展的各种类型的报表。

本发明提供一种移动数据业务监测中的报表生成系统，其中包括：

数据采集模块，主要负责从各个网元设备处实时采集各业务数据，这些设备可以来自同一厂商，也可以来自不同厂商；各个设备所承载的业务类型也不相同；

报表服务器模块，主要负责处理数据采集模块所得到的数据，按照用户需求可以灵活的部署各业务下各种报表的生成方案。在该模块中，用户能够自行定义所需报表的业务逻辑，也能够自己定义与业务相关的各种扩展运算功能。报表生成后，发送至数据存储模块进行存储；

数据存储模块，主要负责存储经过报表服务器模块处理产生的各类报表，由于无需承担复杂的计算功能，该模块负担较轻，仅仅需要响应用户对于各业务的查询并返回结果。

本发明还提供一种移动数据业务监测中的报表生成方法，包括以下步骤：

A.数据采集模块在采集到数据之后，直接发送给报表服务器进行处理；

B.报表服务器在收到原始数据后，首先需经由输入模块进行格式化处理，统一业务和数据的接口，方便进一步操作；

C.被格式化后的数据，需要在服务支撑模块和业务报表管理模块的共同支持下，由业务报表库模块进行相应报表的配置和生成，生成的报表也会存储在业务报表库模块；

D.在业务报表库中生成的最新报表，通过输出模块被发送至数据存储模块；在输出模块中，所生成的各类报表能够根据数据存储模块的具体要求进行配置；

E.被存储于数据存储模块的各类业务报表，能够接受用户的各种查询，并返回相应的查询结果。

附图说明

图1为现有的数据业务监测系统报表生成方案框图；

图2为本发明独立报表生成方案的结构框图；

图3为本发明报表服务器模块的结构框图；

具体实施方式：

目前有关数据业务监测系统下的报表实现如图1所示。

在图1(a)所示的方案中，有关报表处理和分析的内容被放置到数据采集模块中。基本数据被采集之后，会根据事先部署和定义的逻辑进行运算，得到相应的报表。报表生成后，会直接传输到数据存储模块进行储存。对于一些基本和传统的小数据量应用，这种解决方案是可行的。但随着数据业务的海量化和多媒体化，这种方案就不再适用了。一方面，业务类型增多，业务量增大，会导致数据采集模块负载变的很大，很难再有能力去进行复杂的逻辑运算和分析；另一方面，该解决方案是业务相关的，也就是说，对于一种业务，就需要部署一套相应的报表生成逻辑和算法，这就导致报表系统的灵活性很差，多业务下会使得配置和部署变得非常麻烦。

在图1(b)所示的方案中，有关报表处理和分析的内容被放置到数据存储模块中。在该方案下，从数据采集模块采集的数据会以报表的形式存储于数据存储模块中。之后，所有的其他报表均在数据存储模块中完成，通过在数据存储模块中定义存储过程来实现业务逻辑。同样，在小数据量和较少的访问请求下，该方案基本能够满足业务需求。但是，在多业务和大数据量的场景下，该方案也不再可行。在多业务和大数据量的条件下，这些运算会占用大量的资源(CPU、存储、I/O等)，导致用户无法正常查询数据库。此外，尽管一些商用的数据存储模块能够完成大部分类型的运算，但仍然无法完成某些用户自定义的业务逻辑和分析挖掘功能。

从目前的解决方案可以看出，无论哪一种方案，在性能和报表灵活性方面均存在严重瓶颈，均无法适应目前移动数据业务快速发展的需求。目前，新业务被不断推出，客户对于报表提出各种需求，从客观上要求采用一种独立、灵活的解决方案，因此，我们采用一个独立的报表处理模块来实现这一功能，在数据采集模块和数据存储模块两者之间实现无缝连接和平滑过渡。

下面结合附图，将对本发明的技术方案的实施作进一步的详细描述：

本发明系统和方法的核心思想是将报表处理和呈现功能独立出来，这样，一方面，能够将数据采集模块和数据存储模块从繁重的运算任务中解脱出来，使得整个系统能够更稳定流畅的运行；另一方面，也适应了运营商对于大量报表输出的需求，仅仅修改配置文件，目的报表可以按照需求自动输出，此外，通过加入预定义、自定义的处理函数和模块，可以完成各种复杂的业务逻辑。这些都是之前的解决方案所不具备的。本文方案部署简单，开发、维护和扩展都非常方便。

如图2所示，本发明的一种数据监测系统中报表服务器的设计方案主要包括三个模块：数据采集模块、报表服务器模块和数据存储模块。

所述的数据采集模块，主要负责从各个网元设备处实时采集各业务数据，这些设备可以来自同一厂商，也可以来自不同厂商；各个设备所承载的业务类型可以相同，也可以不相同；

所述的报表服务器模块，主要负责处理数据采集模块所得到的数据，按照用户需求可以灵活的部署各业务下各种报表的生成方案。在该模块中，用户能够自行定义所需报表的业务逻辑，也能够自己定义与业务相关的各种扩展运算功能。报表生成后，发送至数据存储模块进行存储并接受查询和访问；

所述的数据存储模块，主要负责存储经过报表服务器模块处理产生的各类报表，由于无需承担复杂的计算功能，该模块负担较轻，仅仅需要响应用户对于各业务的查询并返回结果。数据存储模块由专门的企业级的数据库管理系统来维护，比如Oracle、SQLServer、Sybase等。本发明的数据存储模块可作为独立模块放在单独的服务器上运行，也可以节约系统成本与报表服务器模块放在同一台服务器上运行。

所述的报表服务器模块，进一步可以分为服务支撑模块，业务报表管理模块，业务报表库模块，输入输出模块，如图3所示；

其中，所述的服务支撑模块，主要负责该报表服务器的底层支撑功能的实现，包括多业务管理、内存管理、输入输出管理和索引等基础功能；

其中，所述的业务报表管理模块，主要负责业务报表解析编译、业务报表自定义扩展支撑、业务报表逻辑管理功能。该模块包含了一些与业务相关的预定义的扩展的业务运算，即除去常用的数值、字符串、逻辑运算外，系统还可以自定义各种复杂运算和分析算法等，整个报表系统的灵活性和可扩展性，正是通过业务报表库模块中用户自定义的业务逻辑和该模块提供的多种运算功能来体现的；

其中，所述的业务报表库模块，主要负责按照客户需求，对要生成的各类报表进行配置管理和逻辑定义，负责配置所要生成的各业务报表的业务逻辑，即要生成的报表是该如何被生成的，需要查询已有的哪些报表，需要采用怎么样的运算方式和算法等，此外，该模块还承担着输出报表的存储功能；

其中，所述的输入输出模块，主要完成和数据采集模块，以及数据存储模块的交互。在输入模块中，用户可以对来自不同厂商的数据格式以及业务类型进行配置，原始数据按照该配置格式化后，业务接口被统一，方便业务报表管理模块在此基础上进行进一步操作；同样，在输出模块中，所生成的各类报表可以根据数据存储模块的具体要求进行配置。

上述系统的操作流程如下：

B.报表服务器在收到原始数据后，首先需经由输入模块进行处理，在所述的输入模块中，用户可以对来自不同厂商的数据以及业务类型进行配置和格式化，原始数据按照该配置处理后，各业务的接口被统一，方便业务报表管理模块和业务报表库模块进行进一步操作；

C.被格式化后的数据，需要在服务支撑模块和业务报表管理模块的共同支持下，由业务报表库模块进行相应报表的配置和生成。其中，所述的服务支撑模块，主要负责该报表服务器的底层支撑功能的实现，包括多业务管理、内存管理、输入输出管理和索引管理等功能。所述的业务报表管理模块，主要负责业务报表解析编译、业务报表自定义扩展支撑、业务报表逻辑管理功能。该模块除支持常用的数学运算、逻辑运算、字符串运算之外，还支持业务相关的预定义运算和用户自定义扩展运算，从而保证了报表系统的灵活性和可扩展性。所述的业务报表库模块，主要负责按照客户需求，对要生成的各类报表进行配置管理和逻辑定义，即定义需要哪些输入报表，执行那些运算和相应的运算步骤，得到怎样的输出报表等，同时，新生成的输出报表也被存储在该模块中。

D.在业务报表库中生成的最新报表，通过输出模块被发送至数据存储模块。在输出模块中，所生成的各类报表可以根据数据存储模块的具体要求进行配置。

E.被存储于数据存储模块的各类业务报表，可以接受用户的各种查询，并返回相应的查询结果。

本发明的数据监测系统中报表服务器的设计方案通过将报表生成和处理功能独立出来，能够有效的应对多业务下大数据量场景下，用户对各类报表的输出要求，同时又不会影响数据采集和存储功能的正常实现。在报表处理和实现部分，设计灵活高效，可根据需求进行配置，可扩展性好。同时，对于报表服务器模块的维护也非常简单，能够使目前的系统效率得以大大提高。

Claims

1、一种移动数据业务监测中的报表生成系统，其中包括：

数据采集模块，负责从各个网元设备处实时采集各业务数据，这些设备来自同一厂商，或来自不同厂商；各个设备所承载的业务类型相同或不同；

报表服务器模块，负责处理数据采集模块所得到的数据，按照用户需求灵活的部署各业务下各种报表的生成方案；在该模块中，用户能够自行定义所需报表的业务逻辑，也能够自己定义与业务相关的各种扩展运算功能；报表生成后，发送至数据存储模块进行存储；

数据存储模块，负责存储经过报表服务器模块处理产生的各类报表，由于无需承担复杂的计算功能，该模块负担较轻，仅仅需要响应用户对于各业务的查询并返回结果。

2、根据权利要求1所述的报表生成系统，其特征在于，所述的报表服务器模块进一步包括：

服务支撑模块：负责该报表服务器的底层支撑功能的实现，包括多业务管理、内存管理、输入输出管理和索引管理功能；

业务报表管理模块：负责业务报表解析编译、业务报表自定义扩展支撑、业务报表逻辑管理功能。该模块支持数学运算、逻辑预算、业务相关的预定义运算和用户自定义扩展运算，从而保证了报表系统的灵活性和可扩展性；

业务报表库模块：负责按照客户需求，对要生成的各类报表进行配置管理和逻辑定义，即定义需要哪些输入报表，执行哪些运算和相应的运算步骤以及得到怎样的输出报表，此外，该模块还承担着输出报表的存储功能；

输入模块和输出模块：完成报表服务器模块、数据采集模块、以及数据存储模块的交互；在输入模块中，用户对来自不同厂商的数据以及业务类型进行配置和格式化，原始数据按照该配置处理后，各业务的接口被统一，方便业务报表管理模块和业务报表库模块进行进一步操作；同样，在输出模块中，所生成的各类报表根据数据存储模块的具体要求进行配置。

3、一种移动数据业务监测中的报表生成方法，包括以下步骤：

4、根据权利要求3所述的报表生成方法，其中，报表服务器模块作为独立模块放在单独的服务器上运行，或与数据采集模块或数据存储模块放在同一台服务器上运行。