CN103942287B - 海量数据处理方法、数据库服务器及应用服务器 - Google Patents

Abstract

本发明提供了海量数据处理方法、数据库服务器及应用服务器，其中，海量数据处理方法包括：接收应用服务器上传的文本文件；其中，文本文件为应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，文本文件包含至少一个网元上传的性能文件中的数据；按照第二时间周期调用数据库的数据加载工具，向数据库中的至少一个数据表中导入接收的文本文件；当接收到应用服务器发送的报表提取调用指令时，按照设定规则从至少一个数据表中获取报表提取调用指令所需的数据，生成上报报表数据；将上报报表数据发送至应用服务器。通过本发明，能够有效地节省生成上报报表的时间，还可以减少对数据库的访问次数。

Description

海量数据处理方法、数据库服务器及应用服务器

技术领域

本发明涉及通信技术领域，特别是涉及一种海量数据处理方法、数据库服务器及应用服务器。

背景技术

在整个OMC（Operation and Maintenance Center，操作维护中心）系统中，有成百上千个网元需要管理，对网元的具体管理如下：OMC系统中的所有网元在开启性能测量任务以后，都会按照设定的测量周期粒度，以文件形式上报测量结果到OMC系统中的FTP（FileTransfer Protocol，文件传输协议）服务器的指定目录下，也就是说每个网元在每个测量周期均会产生一个包含测量结果的性能文件；OMC系统则需要将所有网元上报的性能文件进行读取解析并保存到数据库表中，最后按照指定时间粒度形成上级网管要求的性能报表。

网元性能任务测量周期按照粒度划分为5分钟、15分钟(默认)、30分钟以及60分钟。而OMC系统形成上级网管要求的性能报表的时间粒度随着测量周期粒度的变化而改变。具体变化关系如下：若测量周期粒度为5分钟，则生成上级网管要求的性能报表的时间延迟不能超过5分钟；若测量周期粒度为15分钟，则生成上级网管要求的性能报表的时间延迟不能超过10分钟；若测量周期粒度为30分钟，则生成上级网管要求的性能报表的时间延迟不能超过15分钟；若测量周期粒度为60分钟，则生成上级网管要求的性能报表的时间延迟不能超过30分钟。那么，按照此要求结合OMC系统的管理规模评估，中等容量的OMC系统需要管理的网元数量一般在4000，最大容量的OMC系统则需要管理的网元数量为10000。也就是说，OMC系统在默认情况下需要至少满足10分钟内完成4000个性能文件的解析入库并生成上级网管要求的性能报表的工作，可见在短时间内生成上级网管要求的性能报表对于OMC系统来说是至关重要的。

现有的一种对OMC系统中的各网元上报的性能文件进行处理，生成上级网管要求的性能报表的具体流程示意图如图1所示。

从图1中可知，OMC系统中完成数据采集入库功能的中间件是基于JDBC（JavaDataBase Connectivity，Java数据库连接）规范实现的。性能文件入库模块逐个对上报的性能文件进行解析，以获取性能文件中的数据源；调用JDBC接口将数据源按照设定的批量大小，逐批将数据源插入数据库中的相应性能数据表中。当需要生成上传上级网管的性能报表时，性能管理模块通过JDBC接口多次调用数据库查询语句从数据库中进行相关性能数据的查询，查询完所需性能数据后，再通过性能管理模块对查询到的数据进行二次处理即对大批量的数据计算、整理最终生成上级网管要求的性能报表。

而现有的这种对性能文件进行处理，生成上级网管需求的性能报表的方案存在以下的不足：

首先，该方案使用JDBC接口批量将数据源入库时受限于批量大小的设置，该设置不能太大。在该设置不能太大，且有大批量的数据源要入库的情况下，就需要频繁使用JDBC接口访问数据库，执行数据源入库的操作，数据源入库所花费的时间长。其次，该方案中需要将所需的性能数据全部从数据库中加载到性能管理模块中，再对性能数据进行二次处理生成上级网管需求的性能报表，也需要花费较长的时间。如果采用现有的这种处理方案，当OMC系统中的网元数量大于6000时，生成上级网管需求的性能报表的时间将超出规定的时间粒度，那么就无法正常的上报上级网管需求的性能报表。

发明内容

本发明提供了一种海量数据处理方法、数据库服务器及应用服务器，以解决采用现有的数据处理方法生成上报上级网管需求的性能报表由于耗时长，而导致无法正常上报上级网管需求的性能报表的问题。

为了解决上述问题，本发明公开了一种海量数据处理方法，包括：接收应用服务器上传的文本文件；其中，所述文本文件为所述应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，所述文本文件包含至少一个所述网元上传的所述性能文件中的数据；按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件；当接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据；将所述上报报表数据发送至所述应用服务器。

优选地，所述文本文件包含上传时间信息；所述数据库中创建有多个表空间，每个表空间中分别存储有从所述至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据；所述按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件步骤包括：按照第二时间周期，调用数据库的数据加载工具，将所述文本文件中的数据导入到所述文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

优选地，所述数据库中创建的每个表空间都设定有保留时间；所述海量数据处理方法还包括：判断已创建的所述每个表空间是否超出了设定保留时间；若已超出，则新建一个表空间，使用新建的所述表空间替换超出设定保留时间的表空间。

优选地，所述按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据步骤包括：从所述报表提取调用指令中获取上报报表的名称；通过获取的所述名称查找所述名称对应的各个指标，以及，所述各个指标对应的指标生成公式；根据所述指标生成公式查找存储有所述文本文件的数据的数据表，生成上报报表数据。

优选地，在所述按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件步骤之后，还包括：判断所述接收的文本文件是否成功导入所述数据库中的至少一个数据表中；若导入成功，则将所述接收的文本文件进行备份至第一文件夹下；若导入失败，则将所述接收的文本文件移入第二文件夹下，并提示导入失败。

为了解决上述问题，本发明还公开了一种海量数据处理方法，包括：向数据库服务器发送报表提取调用指令；接收所述数据库服务器返回的响应所述报表提取调用指令的上报报表数据；其中，所述上报报表数据由所述数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成；根据所述上报报表数据生成上报报表。

优选地，在所述向数据库服务器发送报表提取调用指令步骤之前，还包括：接收网元按照第一时间周期上传的性能文件；将所述性能文件转换成文本文件；将转换后的所述文本文件发送至所述数据库服务器；其中，所述文本文件中包含至少一个所述网元上传的所述性能文件中的数据。

为了解决上述问题，本发明还公开了一种数据库服务器，包括：接收模块，用于接收应用服务器上传的文本文件；其中，所述文本文件为所述应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，所述文本文件包含至少一个所述网元上传的所述性能文件中的数据；文件入库模块，用于按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件；数据生成模块，用于当接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据；发送模块，用于将所述上报报表数据发送至所述应用服务器。

优选地，所述文本文件包含上传时间信息；所述数据库中创建有多个表空间，每个表空间中分别存储有从所述至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据；所述文件入库模块按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件时：按照第二时间周期，调用数据库的数据加载工具，将所述文本文件中的数据导入到所述文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

为了解决上述问题，本发明还公开了一种应用服务器，包括：发送指令模块，用于向数据库服务器发送报表提取调用指令；接收数据模块，用于接收所述数据库服务器返回的响应所述报表提取调用指令的上报报表数据；其中，所述上报报表数据由所述数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成；报表生成模块，用于根据所述上报报表数据生成上报报表。

与现有技术相比，本发明具有以下优点：

本发明提供的海量数据处理方法、数据库服务器以及应用服务器，首先应用服务器将接收到各网元上报的性能文件转换成文本文件，然后将转换后的文本文件发送至数据库服务器；数据库服务器按照设定时间周期将接收到的文本文件中的数据导入数据库中对应的数据表中。本发明中这种向数据库导入数据的方案由于是将整个文本文件直接导入对应的数据表中，能够一次向数据库中导入大批数据，因此，相比现有的数据处理方案中将源数据小批量的、分多次导入数据库中，能够节省数据导入时间，并且还能够减少对数据库的访问次数。

除此之外，本发明提供的海量数据处理方法及数据库服务器在接收到应用服务器发送的报表提取指令后，在数据库服务器内部生成上报报表数据，仅需直接将上报报表数据发送至应用服务器。本发明提供的海量数据处理方案能够有效避免现有的数据处理方案中，因需要将生成上报报表数据的源数据全部都从数据库服务器、分多次发送至应用服务器而造成的数据发送消耗时间长、以及多次的访问数据库的问题，从而有效地节省发送数据至应用服务器的时间，以及对数据库的访问次数。综上，通过本发明提供的海量数据处理方法、数据库服务器以及应用服务器能够有效地节省生成上报报表的时间，并且还可以减少对数据库的访问次数。

附图说明

图1是现有技术中的生成上级网管要求的性能报表的具体流程示意图。

图2是根据本发明实施例一的一种海量数据处理方法的步骤流程图；

图3是根据本发明实施例二的一种海量数据处理方法的步骤流程图；

图4是根据本发明实施例三的一种海量数据处理方法的步骤流程图；

图5是根据本发明实施例四的一种数据库服务器的结构框图；

图6是根据本发明实施例五的一种应用服务器的结构框图；

图7是根据本发明实施例六的一种海量数据处理系统的结构框；

图8是本发明实施例六中的系统中的部分模块的交互示意图；

图9是本发明实施例六中的系统中的部分模块的交互示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图2，示出了根据本发明实施例一的一种海量数据处理方法的步骤流程图。

本实施例的海量数据处理方法步骤包括：

步骤S102：数据库服务器接收应用服务器上传的文本文件。

整个OMC系统中，有成百上千个网元需要管理，其中，对网元进行管理包括对各个网元上报的性能文件进行分析，然后根据上级网管的需求生成上报报表，即生成上级网管需求的性能报表。本实施例中，生成上报报表需要数据库服务器以及应用服务器来完成。

其中，文本文件为应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，文本文件包含至少一个网元上传的性能文件中的数据。第一时间周期及为网元上报性能文件的时间粒度，对于第一时间周期的设定可以由本领域技术人员根据实际需求进行设定，在此不作具体的限定。

需要说明的是，应用服务器可以将OMC系统中的多个网元上传的性能文件中的数据生成一个文本文件，也可以生成多个文本文件。例如：为每个网元上传的性能文件生成一个文本文件；再例如：为每五个网元上传的性能文件生成一个文本文件。本申请目的是保护将性能文件生成文本文件的构思，具体生成文本文件的个数再此不作具体的限制；又例如，根据性能文件的大小决定生成一个文本文件的网元的数量等等。

步骤S104：数据库服务器按照第二时间周期调用数据库的数据加载工具，向数据库中的至少一个数据表中导入接收的文本文件。

本实施例中的第二时间周期需要根据第一时间周期进行设定，在设定时第二时间周期要大于第一时间周期、且小于二倍的第一时间周期。这样设定的原因是，应用服务器是按照第一时间周期，例如：10分钟接收到各个网元上传的性能文件，那么应用服务器将各个网元上传的性能文件转换成文本文件需要花费一定的时间，然后再发送至数据库服务器。此时，数据库服务器才能够将文本文件导入数据库中。应用服务器会按照一定的时间周期定时的向数据库服务器发送文本文件，所以数据库服务器必须在下一个时间周期内的文本文件到达前，将当前时间周期内的文本文件导入数据库中。也就是说，数据库服务器必须在应用服务器导入当前时间周期内的文本文件后、导入下一个时间周期的文本文件前，执行调用数据加载工具进行加载的操作，这样才能够避免数据的堆积。

数据库服务器将文本文件导入数据库中时，可以将文本文件导入一个数据表中，也可以将文本文件导入多个数据表中，这与数据表的数据存储的设定有关。例如：本领域技术人员设定将网元上报的性能文件的性能数据根据原始计数器的不同进行划分，将性能文件中的数据分别存储在不同的数据表中，那么就需要有多个表来存储这些性能数据，那么对应的，将该性能文件转换后的文本文件导入到数据库中时，就要对应导入多个数据表中。当然，也可以设定成将所有的性能数据都导入同一个数据表中。对于数据表个数的设定由本领域技术人员根据实际需求进行关联性的设定，本申请对此不作具体限制。

步骤S106：数据库服务器当接收到应用服务器发送的报表提取调用指令时，按照设定规则从至少一个数据表中获取报表提取调用指令所需的数据，生成上报报表数据。

步骤S108：数据库服务器将上报报表数据发送至应用服务器。

通过本实施例提供的海量数据处理方法，由于该方法是将整个文本文件中的数据直接导入对应的数据表中，能够一次向数据库中导入大批数据，避免现有的数据处理方法中将源数据小批量的、分多次导入数据库中的问题。因此，本实施例中的海量数据处理方法能够缩短导入数据所消耗的时间、以及减少访问数据库的次数。与此同时，本实施例中提供的海量数据处理方法由于是在数据库服务器内部生成上报报表数据，然后仅需直接将上报报表数据发送至应用服务器，因此，可以避免现有的数据处理方法中，必须将生成上报报表数据的源数据全部都从数据库服务器发送至应用服务器，然后再由应用服务器对源数据进行二次处理后才能生成上报报表数据，而造成的传输数据量大、耗时长以及多次访问数据库的问题。可见，通过本发明提供的海量数据处理方案，可以有效地节省生成上报报表的时间，并且还可以减少对数据库的访问次数。

实施例二

参照图3，示出了根据本发明实施例二的一种海量数据处理方法的步骤流程图。

本实施例从数据库服务器侧对本发明的海量数据处理方法进行说明，本实施例中海量数据处理方法的具体步骤包括：

步骤S202：数据库服务器接收应用服务器上传的文本文件。

本实施例中的文本文件为应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，文本文件包含至少一个网元上传的性能文件中的数据。

应用服务器上传的文本文件包含上传时间信息，该上传时间信息指文本文件中包含的数据从网元上传至应用服务器的时间；该时间信息可以精确到分钟。例如：某一网元在2013年4月1日12时30分上传了性能文件至应用服务器，那么该性能文件转换成文本文件后，文本文件中包含的时间信息则为2013年4月1日12时30分。

步骤S204：数据库服务器按照第二时间周期，调用数据库的数据加载工具，将文本文件中的数据导入到文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

在实施例一中已经对第二时间周期与第一时间周期的关系进行了详细介绍，在此就不再赘述。

优选地，数据库服务器将文本文件对应的数据导入对应的表空间中的数据表分区中时，按照第二时间周期调用程序脚本，通过程序脚本调用数据加载工具将本文本件对应的数据导入数据库中的。

一种优选的存储数据的方式为，在数据库服务器的数据库中创建有多个表空间，每个表空间中分别存储有从至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据，并且，每个表空间都设定有保留时间。本实施例中就是采用这样的方式对表空间、数据表以及文本文件中的数据按照时间进行划分，将数据对应到表空间中的数据表分区内进行数据管理的。

在数据库中创建表空间时，可以根据实际需求进行创建；每个表空间对应的数据表分区也可以根据实际需求划分与存储。例如：可以同时创建12个表空间，每个表空间用于存储一个月内的数据。相应地就需要将用于存储文本文件中的数据的至少一个数据表进行分区，如果所有的文本文件中的数据都存储在一个数据表中，那么就只需对这一个数据表进行分区即可，而如果文本文件中的数据需要存储到多个数据表中，那么就需要对这多个数据表都进行分区。下面以所有的文本文件中的数据都存储在一个数据表为例对表空间与数据表分区之间的关系进行说明：在分区时，可以为每个表空间对应一个数据表分区，也就是说每个数据表分区存储一个月内的数据。当然也可以为每个表空间对应多个数据表分区，例如：为一个表空间对应存储该数据表的30个分区，按照一个月30天算的话，也就是说，每个数据表分区用于存储一天内的数据。

当然，对于表空间的建立以及数据表的分区还可以有其他的实施方案，例如：每两个月建立一次表空间，每次建立两个表空间，每个表空间存储同一个数据表的60个数据表分区，如果存储两个月内的数据，那么每个数据表分区用于存储一天内的数据。

下面举一个具体的实例对文本文件与数据库中的数据表分区的对应关系进行一下详细说明。当网元在2013年4月1日12时30分上传了性能文件，该性能文件转换成文本文件后，该文本文件中包含的时间信息则为2013年4月1日12时30分，且这个文本文件中的数据只需存储在一个数据表中。在数据库中存储的多个表空间中存在这样一个表空间，该表空间用于存储2013年4月份的数据，这个表空间下存储有该数据表的30个分区，那么也就是说，每一个数据表分区用于存储一天内的数据。当向数据库中导入上述文本文件中的数据时，就会将该文本文件中的数据对应导入对应月份为4月的表空间下的、对应日期为1号的数据表分区中。而如果该文本文件中的数据需要存储在数据表A和B中，那么在对应月份为4月的表空间下就分别存储数据表A的30个表分区以及数据表B的30个表分区，那么当将该文本文件中的数据导入数据库中时，就需要将数据分别存储于数据表A对应的日期为1号的数据表分区中、以及数据表B对应的日期为1号的数据表分区中。

在介绍完表空间的建立以及表空间中数据表分区的存储后，下面还需重点说明的是，数据库中创建的每个表空间都设定有保留时间。例如：当新建一个表空间时，会设定该表空间的保留时间，数据库服务器会调用相应的程序对表空间进行维护。具体的维护包括：判断已创建的每个表空间是否超出了设定保留时间；若已超出，则新建一个表空间，使用新建的表空间替换超出设定保留时间的表空间。当然，还可以直接将表空间删除，而不用新建立的表空间替换超出设定保留时间的表空间。

例如：2012年1月1日建立的表空间，其设定保留时间为1年，那么当2012年1月1日时程序就会自动将该表空间删除。

需要说明的是，上述只是以举例的形式说明本申请中是将应用服务器发送的文本文件、根据文本文件的时间信息上传至不同的表空间下的数据表分区中进行存储。但具体的何时建立表空间、以及如何细致的划分数据表分区可以根据实际需求进行设定的，本实施例中对此不作具体限制。与此同时，对于表空间保留时间的设定本实施例中也不作具体限制。本申请所要求保护的是将数据存储在不同的表空间下、以及对表空间进行维护，将时间久的表空间删除，将超出保留时间的表空间占用的磁盘空间进行回收的构思，凡是采用上述构思的方案均属于本申请所要求保护的范围。

优选地，上述对表空间的建立、将数据表进行分区、将数据表存储到对应的表空间下以及对超出保留时间的表空间的删除都由程序脚本自动执行。

步骤S206：数据库服务器判断接收的文本文件是否成功导入数据库中的至少一个数据表中；若导入成功，则将接收的文本文件进行备份至第一文件夹下；若导入失败，则将接收的文本文件移入第二文件夹下，并提示导入失败。

至此，应用服务器上传的一个时间周期内的文本文件已导入数据库中相应的数据表中。此时，当数据库服务器接收到应用服务器发送的报表提取调用指令时，可以从数据表中获取报表提取调用指令所需的数据，生成上报报表数据，具体步骤如下。

步骤S208：数据库服务器从报表提取调用指令中获取上报报表的名称。

在数据库服务器中存储有报表名称与报表所包含的指标的对应关系。以及各个指标对应的生成公式。例如：一个名称为1的报表，该名称1对应有A、B和C三个指标；而每个指标对应的指标生成公式为：A对应a₁+a₂、B对应b₁+b₂、C对应c₁+c₂。

步骤S210：数据库服务器通过获取的报表名称查找该名称对应的各个指标，以及，各个指标对应的指标生成公式。

步骤S212：数据库服务器根据指标生成公式查找存储有文本文件的数据的数据表，生成上报报表数据。

本实施例中因为应用服务器发送的文本文件的数据都对应导入了相应的表空间下的数据表分区中，因此在查找时，需要到对应的数据表分区中对生成指标的数据进行查找。

而在查找前，数据库服务器需要根据各指标生成公式来完成查询各数据表分区的查询语句的拼接，然后通过拼接好的查询语句从各数据表分区中查找生成各指标的数据，最终生成上报报表数据。

步骤S214：数据库服务器将上报报表数据发送至应用服务器。

优选地，查询语句采用SQL语言编写，最后将生成的上报报表数据以打开引用游标的方式返回至应用服务器。

通过本实施例提供的海量数据处理方法，除了可以实现实施一中的海量数据处理方法的效果外，还可以对数据库中的数据进行维护，将超出维护时间的旧数据删除，减轻数据库的存储压力。具体的，本实施例中是通过对各个表空间按照设定的保留时间进行维护，将超出保留时间的表空间进行删除，进而删除超出维护时间的旧数据。而现有的数据处理方法中，对数据存储时将数据存储到一个表空间下，只能向数据库中导入数据，但不能将过期的旧数据删除，旧数据占用的磁盘空间无法回收。可见，通过本实施例提供的海量数据处理方法在有效地节省生成上报报表的时间、减少对数据库的访问次数的同时，还可以对数据库中的数据进行维护，将超出维护时间的旧数据删除，减轻数据库的存储压力，将超出保留时间的旧数据占用的磁盘空间进行回收利用。

实施例三

参照图4，示出了本发明实施例三中的一种海量数据处理方法的步骤流程图。

本实施例从应用服务器侧对本发明的海量数据处理方法进行说明，本实施例中的海量数据处理方法的具体步骤如下：

步骤S302：应用服务器向数据库服务器发送报表提取调用指令。

在OMC系统中应用服务器与报表客服端即上级网管进行通信，应用服务器根据上级网管的需求向上级网管发送上报报表，或是应用服务器定时向上级网管发送上报报表。当应用服务器接收到报表提取调用指令后，应用服务器会将该报表提取调用指令发送至数据库服务器。

步骤S304：应用服务器接收数据库服务器返回的响应报表提取调用指令的上报报表数据。

其中，上报报表数据由数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成。

应用服务器将报表提取调用指令发送至数据库服务器后，数据库服务器会根据接收到的指令在数据库服务器内部通过已上传至数据库中的文本文件生成上报报表数据，具体生成方式可参照实施例二中描述的生成上报报表数据的相关内容。

步骤S306：应用服务器根据上报报表数据生成上报报表。

应用服务器接收到数据库服务器发送的上报报表数据后，将上报报表数据生成上报报表，然后，将生成好的上报报表发送至报表客服端。对于将上报报表数据生成上报报表可以采用现有的方法来实现，本申请中对此不作限制。

上述步骤仅详细描述了应用服务器发送报表提取调用指令、生成上报报表的过程，而并未对上述步骤中所提到的文本文件是如何生成的进行说明。下面在本实施例中还提供一种优选的方法，即在延续上述步骤S302至步骤S306的基础上，在步骤S302之前还执行以下步骤以生成文本文件：

S1：应用服务器接收网元按照第一时间周期上传的性能文件。

应用服务器按照第一时间周期即按照设定的时间粒度接收OMC系统中各个网元上传的性能文件。对于第一时间周期，本领域技术人员可以根据实际需求进行设定，如若不进行设定则默认10分钟为一个时间周期。

S2：应用服务器将接收到的性能文件转换成文本文件。

应用服务器可以将所有网元在一个时间周期内上传的性能文件中的数据转换成一个或多个文本文件。例如：可以按照性能文件中包含的数据类别将各个网元上传的同一个或者多个类别的数据转换到一个文本文件中；还可以，将每个网元上传的性能文件单独转换成一个文本文件；当然还可以将所有网元在一个时间周期内上传的所有性能文件转换成一个文本文件。在本申请中，对转换的文本文件的个数不作限制，只要能满足将文本文件与数据库中的数据表进行对应，满足对数据进行统计归类即可。

优选地，在转换成文本文件的同时，为每个文本文件生成文件名，通过文件将文本文件与数据库中的数据表进行对应。由于文本文件最终是要上传至数据库中的相应的数据表中的，因此，在生成文本文件，为每个文本文件生成包括表名与日期的文件名就可以将数据表与文本文件进行对应。其中，表名设置为与该文件对应的数据表的表名、日期设置为该文本文件中的数据上传至应用服务器中的日期，且日期可以精确到分钟。采用在文件名中设置日期还有一个优点，就是如果将数据表进行表分区，每个数据表分区就对应一个定时间周期的文本文件，那么通过日期就可以将文本文件对应到相应的数据表分区下。

应用服务器通过相应的程序将性能文件的转换成文本文件，该程序可以通过任何应用服务器支持的计算机语言来编写，例如：Java语言。本申请中对程序的编写语言不作具体的限制，但需要说明的是，任何一种通过程序将将性能文件的转换成文本文件的方案，都属于本发明所保护的范围。

S3：应用服务器将转换后的文本文件发送至数据库服务器。

其中，文本文件中包含至少一个网元上传的性能文件中的数据。应用服务器将网元发送的性能文件转换成文本文件再发送至数据库服务器，然后再由数据库服务器通过数据加载工具将文本文件导入数据库中相应的数据表中。

通过本实施例提供的海量数据处理方法，应用服务器将网元上传的性能文件转换成文本文件发送至数据库服务器，由于数据库服务器支持文本文件的导入，因此采用文本文件可以一次向数据库中导入批量的数据。也就是说，通过本发明提供的海量数据处理方法，将性能文件转换成文本文件可以缩短数据入库的时间，并且还可以减少因数据入库而带来的对数据库的访问次数。同时，通过本实施例提供的海量数据处理方法，应用服务器只需接收数据库服务器发送的上报报表数据，然后对上报报表数据进行简单的处理就可以生成上报报表，避免了现有的数据处理方法中需要将生成上报报表数据的源数据全部都从数据库服务器发送至应用服务器，然后再由应用服务器对数据源进行二次处理才能生成上报报表数据，而造成的传输数据量大、耗时长以及多次访问数据库的问题。可见，通过本发明提供的海量数据处理方法，可以有效地节省生成上报报表的时间，还可以减少对数据库的访问次数。

实施例四

参照图5，示出了本发明实施例四中的一种数据库服务器的结构框图。

本实施例的数据库服务器包括：接收模块502，用于接收应用服务器上传的文本文件；其中，文本文件为应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，文本文件包含至少一个网元上传的性能文件中的数据；文件入库模块504，用于按照第二时间周期调用数据库的数据加载工具，向数据库中的至少一个数据表中导入接收的文本文件；数据生成模块506，用于当接收到应用服务器发送的报表提取调用指令时，按照设定规则从至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据；发送模块508，用于将上报报表数据发送至应用服务器。

优选地，文本文件包含上传时间信息；数据库中创建有多个表空间，每个表空间中分别存储有从至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据；文件入库模块504按照第二时间周期调用数据库的数据加载工具，向数据库中的至少一个数据表中导入接收的文本文件时：按照第二时间周期，调用数据库的数据加载工具，将文本文件中的数据导入到文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

优选地，数据库中创建的每个表空间都设定有保留时间；本实施例中的数据库服务器还包括：表空间维护模块510，用于判断已创建的每个表空间是否超出了设定保留时间；若已超出，则新建一个表空间，使用新建的表空间替换超出设定保留时间的表空间。

优选地，数据生成模块506按照设定规则从至少一个数据表中获取报表提取调用指令所需的数据，生成上报报表数据时：从报表提取调用指令中获取上报报表的名称；通过获取的名称查找名称对应的各个指标，以及，各个指标对应的指标生成公式；根据指标生成公式查找存储有文本文件的数据的数据表，生成上报报表数据。

优选地，本实施例中的数据库服务器还包括：判断模块512，用于在文件入库模块504按照第二时间周期调用数据库的数据加载工具，向数据库中的至少一个数据表中导入接收的文本文件之后，判断接收的文本文件是否成功导入数据库中的至少一个数据表中；若导入成功，则将接收的文本文件进行备份至第一文件夹下；若导入失败，则将接收的文本文件移入第二文件夹下，并提示导入失败。

本实施例的数据库服务器用于实现前述实施例一、以及实施例二中的海量数据处理方法，并且具有相应的方法实施的有益效果，在此不再赘述。

实施例五

参照图6，示出了本发明实施例五中的一种应用服务器的结构框图。

本实施例的应用服务器包括：发送指令模块602，用于向数据库服务器发送报表提取调用指令；接收数据模块604，用于接收数据库服务器返回的响应报表提取调用指令的上报报表数据；其中，上报报表数据由数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成；报表生成模块606，用于根据上报报表数据生成上报报表。

优选地，本实施例中的应用服务器还包括：接收性能文件模块608，用于在发送指令模块602向数据库服务器发送报表提取调用指令之前，接收网元按照第一时间周期上传的性能文件；文件转换模块610，用于将性能文件转换成文本文件；将转换后的文本文件发送至数据库服务器；其中，文本文件中包含至少一个网元上传的性能文件中的数据。

本实施例的应用服务器用于实现前述实施例三中的海量数据处理方法，并且具有相应的方法实施的有益效果，在此不再赘述。

实施例六

参照图7，示出了本发明实施例七中的一种海量数据处理系统的结构框图。

本实施例的海量数据处理系统包括：应用服务器702以及数据库服务器704。

其中，应用服务器702包括：报表管理模块7022、FTP即文件传输协议模块7024以及文件解析模块7026。其中，报表管理模块7022包括实施例五中的发送指令模块、接收数据模块以及报表生成模块；FTP模块7024相当于实施例五中的接收性能文件模块；文件解析模块7026相当于实施例五中的文件转换模块。

数据库服务器704包括：数据库层业务处理模块和应用层业务处理模块。应用层业务处理模块包括：数据库FTP模块7042和批量文件入库模块7044；数据库层业务处理模块包括：表空间与分区表管理维护模块7046以及报表提取统计算法模块7048。其中，数据库FTP模块7042相当于实施例四中的接收模块；批量文件入库模块7044相当于实施例四中的文件入库模块；报表提取统计算法模块7048包括实施例四中的数据生成模块和发送模块；表空间与分区表管理维护模块7046包括实施例四中的表空间维护模块和判断模块。

下面结合附图8和9对本实施例提供的海量数据处理系统在对各网元上传的性能文件进行解析入库，根据需求生成上报报表时各个模块之间的交互进行详细说明。

附图8为海量数据处理系统中的部分模块对性能文件进行解析，并将性能文件中的数据上传入库时的交互示意图。如图8所示该部分涉及FTP模块7024、文件解析模块7026、数据库FTP模块7042以及批量文件入库模块7044之间的交互，具体交互过程如下：

S1：FTP模块7024按照设定时间粒度接收各网元上传的数据文件即性能文件。

本实施例中设定时间粒度为10分钟，即每十分钟网元便上传性能文件至FTP模块。

S2：文件解析模块7026定时轮询FTP模块7024，检测是否有性能文件上传；若检测到有新上传的性能文件，则从FTP模块7024中下载新上传的性能文件。

S3：文件解析模块7026在下载完新上传的性能文件后向FTP模块7024发送删除消息文件的指令。

其中，该删除消息文件的指令用于指示FTP模块7024将已被文件解析模块7026下载的性能文件删除。

S4：FTP模块7024将性能文件删除后，返回给文件解析模块7026删除完成消息。

S5：文件解析模块7026对从FTP模块7024中下载来的性能文件进行解析，并将解析后的数据文件即文本文件上传至数据库FTP模块7042的指定文件夹下。

本实施例中由Java程序实现对网元上报的性能文件的解析，将解析后的数据以规定格式（如列之间空格分隔，每条一行）写入文件，文件名以表名和日期（精确到分钟，格式为：YYYYMMDDHHMI）命名，最终生成上传数据库FTP模块7042的文本文件。

S6：数据库FTP模块7042接收文件解析模块7026上传的文本文件。

S7：批量文件入库模块7044定期轮询，检测数据库FTP模块7042中是否有新上传的文本文件，若检测到有新上传的文本文件，则下载该文本文件。

S8：批量文件入库模块7044在文本文件下载完成后，向数据库FTP模块7042发送删除消息文件指令，并接收数据库FTP模块7042响应该指令的结果。

其中，删除消息文件指令用于指示数据库FTP模块7042将批量文件入库模块7044已下载的文本文件删除。

S9：批量文件入库模块7044将从数据库FTP模块7042中下载的文本文件批量导入数据库中。

批量文件入库模块7044通过Solaris Shell脚本实现每个周期延时2分钟轮询数据库FTP模块7042中的指定文件夹下的文件，根据文件名规则，使用Oracle提供的批量入库工具，调用Sqlldr命令进行批量入库。其中，Solaris为计算机操作系统，是UNIX操作系统的衍生版本之一；Sqlldr为Oracle提供的一个数据加载的命令行工具。

本实施例中由于每个周期为10分钟，因此，在本实施例中Solaris Shell脚本每12分钟轮询数据库FTP模块7042中的指定文件夹下的文件。

在本实施例中，在数据库系统中建立有一张分区信息表，里面主要字段有分区表的表名，分区表的分区键，分区方式（如R代表区间分区），分区扩展的时间间隔（如：M代表每月一个分区，D代表每天一个分区），分区至少保留的时间（如果是天分区，单位：天；如果是月分区，单位：月）。并且在系统中还建立有一个程序包，该程序包主要包含3个功能：初始化分区表，建立维护分区表的job，维护分区表（根据规则新增或移除分区）；其中，分区表即数据表分区。通过该程序包以及分区信息表，可以将上报报表业务对应建立多个表空间，将表空间根据时间命名，然后将存储该业务对应的数据的各个数据表划分数据表分区，将各个数据表分区存储到对应的表空间下，实现对表空间及表空间下存储的数据进行维护和管理。

在本实施例中对数据库中的表空间以及数据进行具体维护和管理操作如下：在数据库层，用存储过程实现为性能数据分月建立表空间，根据配置规则，调用job定期新增未来月份的表空间和删除过期月份的表空间，所有的性能数据表进行分区。将性能数据表的分区放入相应月份的表空间中进行存储，当过期性能数据不再需要时，可以通过交换表空间的方式，将历史数据导出，导出后，可直接删除过期月份的表空间及其对应的数据文件。

S10：批量文件入库模块7044将成功入库后的文件移入备份文件夹下，如遇入库失败的文件移入失败文件夹下，并提示导入失败。

其中，备份文件夹即第一文件夹，失败文件夹即第二文件夹。本实施例中在提示导入失败时通过触发入库失败邮件来实现。

附图8中的各个模块通过上述交互已将文本文件中的数据对应导入数据库中的对应表空间中的数据表分区中。那么当用户即报表客户端发起上报报表请求时，本实施例中的海量数据处理系统通过附图9中所示的模块，根据用户需求生成上报报表，并将上报报表返回至用户。

如附图9所示，执行生成上报报表以及将报表返回用户的模块包括：数据库服务器中的各个模块以及应用服务器中的报表管理模块7022，各模块间的交互如下：

S11：用户向报表管理模块7022发起数据报表生成操作。

数据报表生成操作即用户向报表管理模块7022发起报表提取调用指令。

在后续交互步骤的描述中报表即为上报报表。

S12：报表管理模块7022将报表提取调用指令发送至数据库服务器。

本实施例中通过调用报表数据生成接口，来向数据库服务器发送报表提取调用指令。

S13：数据库服务器接收到该指令后，在数据库层生成报表数据，返回报表数据至报表管理模块7022。

在数据库层生成报表数据具体流程如下：在生成性能指标对应的数据时，在数据库层，由存储过程实现。首先根据传入的报表名称，找到报表下对应的指标，然后根据指标名称查找到生成指标的公式，根据公式，完成查询报表指标的SQL语句的拼接，最后执行该SQL语句以打开引用游标的方式返回结果集给报表客户端即用户。

S14：报表管理模块7022接收到上报报表数据后，生成上报报表即报表文件，返回给用户。

至此，整个海量数据处理的一个流程结束。需要说明的是，本实施例中仅是以对一个时间周期内上传的性能文件进行处理、生成上报报表为例对该系统的各个模块之间的交互进行的介绍。在实际操作中海量数据处理系统会重复执行上述流程，对各个时间周期内上传的性能文件进行处理。

本实施例中的海量数据处理系统，采取Java程序实现对上报的性能文件的解析，生成可以被Sqlldr加载的固定格式的普通文本文件。使用SolarisShell脚本实现定期调用Sqlldr将文本文件批量入库，然后在数据库层用存储过程实现表空间与数据表的自维护，最后由存储过程实现报表查询，直接将结果集返回客户端，以减少应用层与数据库交互的网络开销。

通过本实施例提供的海量数据处理系统，在对性能文件中的数据解析后不直接将其入库，而是生成通用格式的文本文件，利用Oracle提供的Sqlldr工具，使用直接路径方式加载入数据库中。相比传统的Java程序直接入库方式会造成数据的大量延迟，本实施例中提供的数据入库方式更高效、快速。并且本实施例中的海量数据处理系统，还将已经生成的文本文件进行备份，当需要历史数据时，再次加载即可。与此同时，本实施例中的海量数据处理系统将表空间根据时间命名，创建多个表空间来存储不同时间段上传的数据，进行动态的创建和删除，便于维护和管理，有效的避免了单一表空间下存储数据导致数据文件只会增长，磁盘空间无法回收的问题。

需要说明的是，凡将需解析文件转化为中间文件，使用外部程序编码周期性调用Sqlldr整体一次入库，并且在数据层采用表空间与数据表分区以日期动态创建与移除的策略的方案，均属于本申请的保护范围。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的海量数据处理方法、数据库服务器及应用服务器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种海量数据处理方法，其特征在于，包括：

接收应用服务器上传的文本文件；其中，所述文本文件为所述应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，所述文本文件包含至少一个所述网元上传的所述性能文件中的数据；

按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件；

当接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据；

将所述上报报表数据发送至所述应用服务器。

2.根据权利要求1所述的方法，其特征在于，所述文本文件包含上传时间信息；所述数据库中创建有多个表空间，每个表空间中分别存储有从所述至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据；

所述按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件步骤包括：

按照第二时间周期，调用数据库的数据加载工具，将所述文本文件中的数据导入到所述文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

3.根据权利要求2所述的方法，其特征在于，所述数据库中创建的每个表空间都设定有保留时间；

所述海量数据处理方法还包括：

判断已创建的所述每个表空间是否超出了设定保留时间；若已超出，则新建一个表空间，使用新建的所述表空间替换超出设定保留时间的表空间。

4.根据权利要求1所述的方法，其特征在于，所述按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据步骤包括：

从所述报表提取调用指令中获取上报报表的名称；

通过获取的所述名称查找所述名称对应的各个指标，以及，所述各个指标对应的指标生成公式；根据所述指标生成公式查找存储有所述文本文件的数据的数据表，生成上报报表数据。

5.根据权利要求1所述的方法，其特征在于，在所述按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件步骤之后，还包括：

判断所述接收的文本文件是否成功导入所述数据库中的至少一个数据表中；若导入成功，则将所述接收的文本文件进行备份至第一文件夹下；若导入失败，则将所述接收的文本文件移入第二文件夹下，并提示导入失败。

6.一种海量数据处理方法，其特征在于，包括：

向数据库服务器发送报表提取调用指令；

接收所述数据库服务器返回的响应所述报表提取调用指令的上报报表数据；其中，所述上报报表数据由所述数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成；所述上报报表数据具体是由所述数据库服务器接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从至少一个数据表中获取所述报表提取调用指令所需的数据生成的；

根据所述上报报表数据生成上报报表。

7.根据权利要求6所述的方法，其特征在于，在所述向数据库服务器发送报表提取调用指令步骤之前，还包括：

接收网元按照第一时间周期上传的性能文件；

将所述性能文件转换成文本文件；

将转换后的所述文本文件发送至所述数据库服务器；其中，所述文本文件中包含至少一个所述网元上传的所述性能文件中的数据。

8.一种数据库服务器，其特征在于，包括：

接收模块，用于接收应用服务器上传的文本文件；其中，所述文本文件为所述应用服务器将网元按照第一时间周期上传的性能文件进行转换后得到，所述文本文件包含至少一个所述网元上传的所述性能文件中的数据；

文件入库模块，用于按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件；

数据生成模块，用于当接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从所述至少一个数据表中获取所述报表提取调用指令所需的数据，生成上报报表数据；

发送模块，用于将所述上报报表数据发送至所述应用服务器。

9.根据权利要求8所述的服务器，其特征在于，所述文本文件包含上传时间信息；所述数据库中创建有多个表空间，每个表空间中分别存储有从所述至少一个数据表中划分出的至少一个数据表分区；其中，每个表空间中存储的每个数据表分区用于存储不同时间段内上传的文本文件的数据；

所述文件入库模块按照第二时间周期调用数据库的数据加载工具，向所述数据库中的至少一个数据表中导入接收的所述文本文件时：按照第二时间周期，调用数据库的数据加载工具，将所述文本文件中的数据导入到所述文本文件上传时间所在时间段对应的表空间中的至少一个数据表分区中。

10.一种应用服务器，其特征在于，包括：

发送指令模块，用于向数据库服务器发送报表提取调用指令；

接收数据模块，用于接收所述数据库服务器返回的响应所述报表提取调用指令的上报报表数据；其中，所述上报报表数据由所述数据库服务器通过在数据库中导入网元上传的性能文件转换成的文本文件生成；所述上报报表数据具体是由所述数据库服务器接收到所述应用服务器发送的报表提取调用指令时，按照设定规则从至少一个数据表中获取所述报表提取调用指令所需的数据生成的；

报表生成模块，用于根据所述上报报表数据生成上报报表。