CN101135981A - 一种实现批量报表生成的方法及装置 - Google Patents

Abstract

本发明公开了一种实现批量报表生成的方法，包括步骤有：接收待执行的批量报表任务，并将该批量报表任务放入线程池；从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程；并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出；在一线程执行完报表任务后，判断线程池中是否还有待执行的报表任务，若有则新调度下一个待执行的报表任务，并新建一个线程来执行该新调度的报表任务；否则结束本线程。本发明还相应提供一种实现批量报表生成的装置。本发明不仅保证了多个报表任务并行执行，并且避免了由于同时执行过多报表任务而产生大量线程的问题，从而大大提高了批量报表的输出效率。

Description

一种实现批量报表生成的方法及装置

技术领域

本发明涉及电子通讯领域的报表生成方法与装置，尤其涉及一种实现批量报表生成的方法及装置。

背景技术

OMC(Operation and Maintenance Centre，操作维护中心)是对通讯网络进行进行监控和操作的管理功能实体。当OMC进行指标统计和性能分析的时候，常常需要导出多种分析报表，为了减轻用户的定制负担，OMC提供了各种性能指标的模板文件，每个模板文件对应于某一种性能指标的输出格式定义和需要的数据字段，这些模板文件可以通过一次操作而同时输出，在某种程度上减少了操作步骤，节约了操作时间。

目前批量报表生成的常用方案主要包括两种：

第一种是串行执行方案，即串行执行各个报表任务，依次输出报表，这种方案管理简单但是执行过程都是单线程，执行时间长，且一旦中间某一个报表任务无法执行下去，则可能造成后面的报表也无法输出。

第二种是并行执行方案，即并行执行各个报表任务，每一个报表任务启动一个线程，并行输出报表，这种方案执行管理比第一种稍微复杂一点，如果报表数量不多执行效率会高些，但是如果报表数量很多时，可能会造成系统过于繁忙，CPU等处理器调度过快，反而会降低报表生成效率。

综上可知，现有批量报表生成技术在实际使用上，显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种实现批量报表生成的方法及装置，其可大大提高批量报表的输出效率。

为了实现上述目的，本发明提供一种实现批量报表生成的方法，包括如下步骤：

A、接收待执行的批量报表任务，并将该批量报表任务放入线程池；

B、从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程；

C、并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出；

D、在一个线程执行完报表任务后，判断线程池中是否还有待执行的报表任务，如果有，则新调度下一个待执行的报表任务，并新建一个线程来执行该新调度的报表任务；否则结束本线程。

根据本发明的方法，所述步骤A进一步包括：接收待执行的批量报表任务，将所述批量报表任务置为等待状态，并把所述批量报表任务放入线程池的等待队列中。

根据本发明的方法，所述步骤B进一步包括：

B1、调度线程池的等待队列中若干个报表任务，放到线程池的执行队列中，并将所调度的报表任务的状态改为执行状态；

B2、为该执行队列中的每个报表任务建立一个线程。

根据本发明的方法，所述步骤B和/或步骤D中对报表任务的调度采用优先级原则、先进先出原则或者先进后出原则。

根据本发明的方法，所述步骤B中从线程池中调度的报表任务个数由系统当前状态确定。

根据本发明的方法，所述步骤C中每个线程执行一个报表任务的过程包括：

C1、每个线程启动一个报表任务，各独立的线程并行执行；

C2、每个线程启动一个定时器，通过该定时器判断当前执行的线程是否超时，若超时则执行步骤C3，否则执行步骤C4；

C3、直接关闭当前线程，返回执行失败的标志，并将本线程对应的报表任务的状态改为完成失败状态；

C4、执行完当前线程并输出报表，并将本线程对应的报表任务的状态改为已完成状态。

根据本发明的方法，所述步骤C2中定时器根据报表任务执行情况来设置最长执行时间，并根据该最长执行时间判断当前执行线程是否超时。

根据本发明的方法，所述步骤C4之后还包括

C5、每个线程完成报表输出后，执行后置处理以记录报表输出异常情况并进行异常处理。

根据本发明的方法，所述步骤D中，

在一个线程执行完报表任务后，若判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，继续判断线程池中是否还有待执行的报表任务；或者

在一个线程执行完报表任务后，若判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，不再判断线程池中是否还有待执行的报表任务。

为了实现上述另一个目的，本发明提供一种实现批量报表生成的装置，包括有：

任务接收模块，用于接收待执行的批量报表任务，并将该批量报表任务放入线程池；

线程调度模块，用于从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程；在一个线程执行完报表任务后，该线程调度模块还用于判断线程池中是否还有待执行的报表任务，如果有则新调度下一个待执行的报表任务，并新建一个执行该新调度报表任务的线程；

线程执行模块，用于并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出。

本发明对批量报表生成的执行过程进行了优化，通过线程池来实现批量报表输出，并采用线程池管理调度过程实现负荷分担，其不仅保证了多个报表任务并行执行，并且避免了由于同时执行过多报表任务而产生大量线程的问题，从而大大提高了批量报表的输出效率。同时，本发明为每一线程设置定时器来判断其是否超时，并将超时的线程终止，以保证某一个报表任务失败也不会影响其它报表输出，从而进一步增强了系统的稳健性。

附图说明

图1是本发明所提供的批量报表生成装置的结构示意图；

图2是本发明所提供的批量报表生成方法的流程图；

图3是本发明一实施例中批量报表生成的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基本思想是：通过线程池来执行批量报表任务，并采用线程池管理调度过程实现负荷分担，在放入线程池的批量报表任务中调度若干个报表任务，并为每个报表任务建立一个线程，各线程并行执行以提高任务执行效率，并且避免了由于同时执行过多报表导致系统产生过多线程的问题，从而大幅度提高了批量报表的输出效率。

图1示出了本发明所提供的批量报表生成装置的结构，该批量报表生成装置10通过线程池来执行批量报表任务，该批量报表任务可以是OMC各种性能指标的分析报表任务等。该批量报表生成装置10包括有任务接收模块11、线程调度模块12和线程执行模块13，其中：

任务接收模块11，用于接收待执行的批量报表任务20，并将该批量报表任务20放入线程池。具体而言，任务接收模块11接收系统指示需要执行的批量报表任务20后将其置为等待状态，并将批量报表任务20放入线程池的等待队列中，该等待队列的存入策略可以按FIFO(First In First Out，先进先出)原则、FILO(First in last out，先进后出)原则、或者按优先级高先执行原则等。

线程调度模块12，用于从线程池的批量报表任务20中调度前几个需要执行的报表任务，并为所调度的每个报表任务建立一个线程，从而实现负荷分担，避免同时执行过多任务导致产生过多线程的问题。具体而言，采用线程池管理调度过程从批量报表任务20中调度若干报表任务，对报表任务的调度可采用优先级原则、FIFO原则或者FILO原则等。并且，线程调度模块12将所调度的报表任务放入线程池的执行队列，其状态改为执行状态，同时为每个报表任务建立一个线程。在一个线程执行完报表任务后，线程调度模块12判断线程池中是否还有待执行的报表任务，如果有则新调度下一个待执行的报表任务，并新建一个执行该新调度报表任务的线程。

线程执行模块13，用于并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表30输出。优选的是，每个线程启动一个定时器，通过该定时器判断当前执行的线程是否超时，即是否超过一个预定的最长执行时间，若超时则直接关闭当前线程，返回执行失败的标志，并将本线程对应的报表任务的状态改为完成失败状态。若不超时，则执行完当前线程并输出报表30，并将本线程对应的报表任务的状态改为已完成状态。借此，可保证一个报表任务失败不会影响其它报表输出。

本发明的批量报表生成装置应用到OMC报表管理系统后，可明显提高批量报表的输出效率，同时也适用于原始数据上报、性能数据上报等具有大批量数据处理过程的情况。

图2示出了本发明所提供的批量报表生成方法的流程，其通过图1所示的批量报表生成装置来实现，该方法包括如下步骤：

步骤S201，接收待执行的批量报表任务，并将该批量报表任务放入线程池。

步骤S202，从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程。调度策略可采用优先级原则、先进先出原则或者先进后出原则等。而从线程池中调度的报表任务个数由系统当前状态确定。本步骤中包含了影响本方法实现的两个关键因素：

一是线程调度算法，调度算法的好坏直接关系到批量报表的执行效率。

二是执行线程的个数，执行线程的个数即并行执行的报表任务个数，其需要根据系统当前状态的定义。例如在一台性能较好的服务器上，线程个数可以多一点，增加并行执行个数，提高执行效率；而如果在一台性能较差的服务器上则需要缩减线程个数，保证系统的处理器占用率不至于太高，造成系统频繁调度而降低批量输出的效率。

步骤S203，并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出。

步骤S204，在一个线程执行完报表任务后，判断线程池中是否还有待执行的报表任务，如果有则执行步骤S205，否则结束本进程。这里的判断方式包括两种：

第一种判断方式，在一个线程执行完报表任务后，若线程调度模块12判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，继续判断线程池中是否还有待执行的报表任务。也就是说，每一个线程执行完报表任务之后，都会按照预定的规则判断是否还有待执行的任务，即使前面的线程已经判断出没有待执行的任务。

第二种判断方式，在一个线程执行完报表任务后，若判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，不再判断线程池中是否还有待执行的报表任务。其与第一种判断方式相比，更节省系统资源。

步骤S205，新调度下一个待执行的报表任务，调度策略可采用优先级原则、先进先出原则或者先进后出原则等。同时，新建一个用于执行该新调度的报表任务的线程，返回至步骤S203以执行该新建的线程。

图3示出了本发明所提供的优选实施例中批量报表任务生成方法的流程，其通过图1所示的批量报表生成装置实现，本方法的步骤描述如下：

步骤S301，接收批量报表任务，并将之置为等待状态。任务接收模块11接收数量众多的批量报表任务20后，例如OMC分析报表任务等，将该批量报表任务20置为等待状态。

步骤S302，任务接收模块11将所接收的批量报表任务20放入线程池的等待队列中。

步骤S303，调度线程池任务。线程调度模块12来调度线程池的等待队列中若干个报表任务，调度策略可采用优先级原则、先进先出原则或者先进后出原则等，而从线程池中调度的报表任务个数由系统当前状态确定。同时线程调度模块12将调度的若干个报表任务放到线程池的执行队列中，并将所调度的报表任务的状态改为执行状态，为执行队列中的每个报表任务建立一个线程。

步骤S304，并行启动N个报表任务。线程执行模块13为每个线程启动一个报表任务，且各独立的线程并行执行，从而可提高任务执行效率，减少等待时间。

步骤S305，每个线程启动定时器。线程执行模块13为每个线程启动一个定时器，来计算线程执行时间，判断当前执行的线程是否超时。定时器根据报表任务执行情况来设置最长执行时间，并根据该最长执行时间判断当前执行线程是否超时。

步骤S306，通过定时器判断当前执行的线程是否超时，若超时则直接关闭当前线程，返回执行失败的标志，并将本线程对应的报表任务的状态改为完成失败状态，执行步骤S308；否则，执行步骤S307。通过定时器的设置，保证了当某一个报表输出失败不影响其它报表的输出，一定程度上增强了系统的稳健性。

步骤S307，输出报表。线程执行模块13成功执行完当前线程，根据定义获取相应的字段并完成输出报表30，并将本线程对应的报表任务的状态改为已完成状态，并继续执行步骤S308。

步骤S308，后置处理，主要负责记录报表输出异常情况的问题信息，并进行相应的异常的处理。

步骤S309，判断线程池中是否还有待执行任务。在一个线程执行完报表任务后，线程调度模块12判断线程池中是否还有待执行的报表任务，如果有则返回步骤S303，新调度下一个待执行的报表任务，并新建一个用于执行该新调度的报表任务的线程；否则，结束本线程。

综上可知，本发明对批量报表生成的执行过程进行了优化，通过线程池来实现批量报表输出，并采用线程池管理调度过程实现负荷分担，其不仅保证了多个报表任务并行执行，而且避免了由于同时执行过多报表任务所产生大量线程的问题，从而大大提高了批量报表的输出效率。同时，本发明为每一线程设置定时器来判断其是否超时，并将超时的线程终止，以保证某一个报表任务失败也不会影响其它报表输出，从而进一步增强了系统的稳健性。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种实现批量报表生成的方法，其特征在于，包括如下步骤：

A、接收待执行的批量报表任务，并将该批量报表任务放入线程池；

B、从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程；

C、并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出；

D、在一个线程执行完报表任务后，判断线程池中是否还有待执行的报表任务，如果有，则新调度下一个待执行的报表任务，并新建一个线程来执行该新调度的报表任务；否则结束本线程。

2.根据权利要求1所述的方法，其特征在于，所述步骤A进一步包括：接收待执行的批量报表任务，将所述批量报表任务置为等待状态，并把所述批量报表任务放入线程池的等待队列中。

3.根据权利要求2所述的方法，其特征在于，所述步骤B进一步包括：

B1、调度线程池的等待队列中若干个报表任务，放到线程池的执行队列中，并将所调度的报表任务的状态改为执行状态；

B2、为该执行队列中的每个报表任务建立一个线程。

4.根据权利要求1所述的方法，其特征在于，所述步骤B和/或步骤D中对报表任务的调度采用优先级原则、先进先出原则或者先进后出原则。

5.根据权利要求1所述的方法，其特征在于，所述步骤B中从线程池中调度的报表任务个数由系统当前状态确定。

6.根据权利要求1所述的方法，其特征在于，所述步骤C中每个线程执行一个报表任务的过程包括：

C1、每个线程启动一个报表任务，各独立的线程并行执行；

C2、每个线程启动一个定时器，通过该定时器判断当前执行的线程是否超时，若超时则执行步骤C3，否则执行步骤C4；

C3、直接关闭当前线程，返回执行失败的标志，并将本线程对应的报表任务的状态改为完成失败状态；

C4、执行完当前线程并输出报表，并将本线程对应的报表任务的状态改为已完成状态。

7.根据权利要求6所述的方法，其特征在于，所述步骤C2中定时器根据报表任务执行情况来设置最长执行时间，并根据该最长执行时间判断当前执行线程是否超时。

8.根据权利要求6所述的方法，其特征在于，所述步骤C4之后还包括

C5、每个线程完成报表输出后，执行后置处理以记录报表输出异常情况并进行异常处理。

9.根据权利要求1所述的方法，其特征在于，所述步骤D中，

在一个线程执行完报表任务后，若判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，继续判断线程池中是否还有待执行的报表任务；或者

在一个线程执行完报表任务后，若判断出线程池中已没有待执行的报表任务，则在下一个线程执行完报表任务后，不再判断线程池中是否还有待执行的报表任务。

10.一种实现如权利要求1～9任一项方法的批量报表生成装置，其特征在于，包括有：

任务接收模块，用于接收待执行的批量报表任务，并将该批量报表任务放入线程池；

线程调度模块，用于从线程池的批量报表任务中调度若干个报表任务，并为所调度的每个报表任务建立一个线程；在一个线程执行完报表任务后，该线程调度模块还用于判断线程池中是否还有待执行的报表任务，如果有则新调度下一个待执行的报表任务，并新建一个执行该新调度报表任务的线程；

线程执行模块，用于并行执行所调度的报表任务，并且每个线程执行一个报表任务以生成报表输出。

Images