CN101894163A

CN101894163A - 一种针对性能数据采集系统的数据库操作调度方法及装置

Info

Publication number: CN101894163A
Application number: CN2010102348251A
Authority: CN
Inventors: 孙鸣
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2010-07-23
Filing date: 2010-07-23
Publication date: 2010-11-24
Anticipated expiration: 2030-07-23
Also published as: CN101894163B

Abstract

本发明公开了一种针对性能数据采集系统的数据库操作调度方法，包括：周期划分步骤，用于将性能数据采集周期划分为性能数据存储时段和非性能数据存储时段两部分，其中性能数据存储时段专用于执行性能数据存储操作；任务添加步骤，用于创建两个任务队列，一个用来保存报表生成任务，一个用来保存过期数据处理任务；任务执行步骤，用于在非性能数据存储时段，按照报表生成任务优于过期数据处理任务执行的原则从两个任务队列中取出任务执行。采用本发明方法能够有效均衡数据库负载，防止造成数据库负载过大。本发明还提供了与方法相对应的针对性能数据采集系统的数据库操作调度装置。本发明尤其适用于通信领域中设备管理系统的性能数据采集领域。

Description

一种针对性能数据采集系统的数据库操作调度方法及装置

技术领域

本发明属于信息技术领域，尤其涉及一种性能数据采集系统中，能够均衡数据库负载的操作调度方法及装置。

背景技术

在性能数据采集系统中，往往需要周期性地从设备的多个采集点上采集多种性能数据，采集点指的是设备上可以提供性能数据采集和统计的物理实体，是设备上指定的获取性能数据的来源。这些性能数据会被存入数据库，还要能周期性地生成粒度更大的数据报表，为了不让数据库中存储的数据无限制地增长，对这些报表的过期数据还要能周期性地删除或者转储。

目前的性能数据采集系统中，这些涉及到数据库的操作在执行时机上没有很好的规划，性能数据的存储就在性能数据采集完毕后去做，周期性粒度更大的报表生成和过期数据的删除则是通过定时器调度的，由于没有考虑这些数据库操作的关联性和时效性，这种调度方式本身可能是无效的，例如需要生成30分钟的报表时，前30分钟的数据并没有完全保存完毕，影响了生成数据的正确性；同时这样的调度有可能使得同一时刻，不同的数据库操作会迭加造成数据库负载过大。另外现有技术中，采集周期的选择往往没有考虑数据采集和存储的耗时，这样也会导致相关数据库操作的迭加，使得数据库负载造成的瓶颈影响到系统本身的可用性。

因此，为克服性能数据采集系统中数据库相关的数据存储、报表生成以及过期数据处理操作(主要包括过期数据删除以及转储操作)这些构成数据库压力的操作在执行时机上没有很好的规划，造成数据库负载过大，使得数据库负载成了系统的瓶颈的问题，以及由于没有考虑时效性而导致的无效操作问题，亟需开发一种新的针对性能数据采集系统的数据库操作的调度方案。

发明内容

本发明要解决的技术问题是针对上述现有技术的缺陷，提供一种针对性能数据采集系统的数据库操作调度方法，能够有效均衡数据库负载，防止造成数据库负载过大。本发明还要提供一种针对性能数据采集系统的数据库操作调度装置。

为解决上述技术问题，本发明针对性能数据采集系统的数据库操作调度方法包括如下步骤：

周期划分步骤，用于将性能数据采集周期划分为性能数据存储时段和非性能数据存储时段两部分，其中所述性能数据存储时段专用于执行性能数据存储操作；该时段开始于性能数据采集完毕时，并保证该周期内的采集数据能够存储完毕；

任务添加步骤，用于创建两个任务队列，其中一个用来保存报表生成任务，另一个用来保存过期数据处理任务；每当生成更大粒度报表的条件成就时在所述报表生成任务队列中添加该项报表生成任务；每当过期数据处理周期到时，在所述过期数据处理任务队列中添加该项过期数据处理任务；

任务执行步骤，用于在所述非性能数据存储时段，从所述两个任务队列中取出任务来执行。

进一步地，所述性能数据采集周期大于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。

更进一步地，所述性能数据存储时段结束于所述性能数据采集周期末端，即该时段的时长大于性能数据存储所需时间。所述性能数据存储时段的时长也可以等于性能数据存储所需时间。

进一步地，所述任务添加步骤中，判断所述生成更大粒度报表的条件是否成就的方法为，每次采集数据存储完毕，判断是否具备生成更大粒度报表的条件，如果条件具备则认为此时生成更大粒度报表的条件已成就。

进一步地，所述任务执行步骤中，所述报表生成任务优于所述过期数据处理任务执行。

更进一步地，所述报表生成任务优于所述过期数据处理任务执行，其具体方案可以为，当所述报表生成任务队列中无任务时，方执行所述过期数据处理任务队列中的任务。

更进一步地，所述报表生成任务优于所述过期数据处理任务执行，其具体方案还可以为，从所述报表生成任务队列中取出执行的任务数目多于从所述过期数据处理任务队列中取出执行的任务数目。

为解决上述技术问题，本发明针对性能数据采集系统的数据库操作调度装置包括：

周期划分模块，用于将性能数据采集周期划分为性能数据存储时段和非性能数据存储时段两部分，其中所述性能数据存储时段专用于执行性能数据存储操作；该时段开始于性能数据采集完毕时，并保证该周期内的采集数据能够存储完毕；

任务添加模块，用于创建两个任务队列，其中一个用来保存报表生成任务，另一个用来保存过期数据处理任务；每当生成更大粒度报表的条件成就时在所述报表生成任务队列中添加该项报表生成任务；每当过期数据处理周期到时，在所述过期数据处理任务队列中添加该项过期数据处理任务；

任务执行模块，用于在所述非性能数据存储时段，从所述两个任务队列中取出任务来执行。

进一步地，所述性能数据采集周期不小于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。

进一步地，所述任务执行模块在从所述两个任务队列中取出任务来执行时，所述报表生成任务优于所述过期数据处理任务执行。

本发明的有益效果为：

本发明将性能数据采集周期划分为两部分，其中一部分开始于性能数据采集完毕时，专用于执行性能数据存储操作，这样便保证了性能数据存储操作的执行能够得到最高优先级的保障。在性能采集周期的另一部分，即非性能数据存储时段，根据报表生成任务优于过期数据处理任务的原则来执行这两种操作。本发明通过建立任务队列的方式来执行报表生成操作和过期数据处理操作，有效避免了三种数据库操作在时间上的叠加，使三种操作能够分时进行，避免同时操作给数据库带来的超负载，分摊了性能数据采集系统的压力，提升了系统可用性。

本发明尤其适用于通信领域中设备管理系统的性能数据采集领域。

附图说明

图1为本发明针对性能数据采集系统的数据库操作调度方法原理框图；

图2为一种具体实施例的本发明方法流程示意图；

图3为本发明针对性能数据采集系统的数据库操作调度装置结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明针对性能数据采集系统的数据库操作调度方法原理框图，如图所示，本发明针对性能数据采集系统的数据库操作调度方法具体包括：

周期划分步骤，用于将性能数据采集周期划分为性能数据存储时段和非性能数据存储时段两部分，其中性能数据存储时段专用于执行性能数据存储操作。该时段开始于性能数据采集完毕时，并保证该周期内的采集数据能够存储完毕。为性能数据存储操作划定专用的时段，且该时段开始于该采集周期的性能数据采集完毕时刻，能够保证性能数据存储操作能够在性能数据采集完毕后立即执行，并且为其划定了充足的时间，从而体现了在性能数据采集系统的数据库操作中，性能数据存储操作优先级最高的地位。

任务添加步骤，用于创建两个任务队列，其中一个用来保存粒度更大的报表的生成任务，另一个用来保存过期数据处理任务，过期数据处理主要包括过期数据删除以及转储等。每当生成更大粒度报表的条件成就时在所述报表生成任务队列中添加该项报表生成任务；每当过期数据处理周期到时，在过期数据处理任务队列中添加该项过期数据处理任务。本实施例中，判断生成粒度更大的报表的条件是否成就的方法为，每次采集数据存储完毕，判断是否具备生成更大粒度报表的条件，如果条件具备则认为生成粒度更大的报表的条件已成就。

任务执行步骤，用于在采集周期的非性能数据存储时段，从上述两个任务队列中取出任务来执行。本实施例中，按照更大粒度的报表生成任务优先于过期数据处理任务执行的原则来执行上述两个任务。

性能数据采集周期应不小于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。本发明实施例中，性能数据采集周期取大于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时，即采集周期大于性能数据采集时间与性能数据存储时间之和。

这样，性能数据存储时段在时间轴上既可以结束于性能数据采集周期末端，即该时段的时长大于性能数据存储所需时间；也可以结束于采集周期末端之前，例如等于性能数据存储所需时间，采集周期中其余的时段，即性能数据采集时间，以及时间轴上性能数据存储时段结束时刻到采集周期末端的时间，均属于非性能数据采集时段，用于上述的从两个任务队列中取出任务执行。

图2为一种具体实施例的本发明方法流程示意图，如图所示，该实施例中，本发明针对性能数据采集系统的数据库操作调度方法具体包括如下步骤：

步骤一、根据性能采集系统中涉及到的不同数据库操作内在的先后顺序，也就是时效性，以及他们的重要程度，来排定这些数据库操作的优先级，本发明中数据库操作的优先级排定如下：

1、性能数据存储操作时效性最强，优先级最高。及时存储完毕能够避免在采集周期之间的性能数据存储操作的叠加造成的数据库负载，此外也能及时释放性能数据占用的内存；

2、其次是周期性的粒度更大的报表生成操作，报表数据的及时生成能够方便为客户提供更宏观的信息，且该操作和性能数据存储有顺序性，因为某个时刻的报表生成需要的所有性能数据存储完毕后执行才能保证生成数据的正确性。例如5分钟的采集周期采集性能数据，半小时粒度的报表，会在每个整点和每个半点生成一条记录，每个半点生成的记录需要0，5，10，15，20，25分钟的数据全部保存完毕。

3、过期数据的处理这个数据库动作优先级最低，因为该操作是为了不让数据库中的数据无限制增长，同时清除过期数据降低表容量也使得对数据库的访问效率提高，该操作本身和系统的功能性无关，及时性也较弱。

步骤二、定义合适的采集周期，采集周期就是采集的频率；采集周期不小于所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。即首先估算所有采集点的性能数据采集完毕耗时，以及估算所有采集点的性能数据全部存储于数据库的耗时，然后采集周期取这两部分之和，也可略微大些，这样使得性能数据的存储不堆积。

性能数据的存储作为重要的，及时性较强的操作优先级最高，所以划定专门的时间去执行。即将采集周期划分为性能数据存储时段和非性能数据存储时段，前者专用于性能数据存储操作。

步骤三、创建两个任务队列，一个用来保存报表生成任务，一个用来保存过期数据删除任务(以下以报表生成为例来说明报表生成处理操作)。

报表生成和过期数据处理不再即时执行，而是拆分成小的单元任务分别保存在各自的任务队列中，在分到的执行时间中从队列中取出执行。

步骤四、每次采集数据存储完毕，判断是否具备生成更大粒度报表的条件，如果具备，在报表生成任务队列中添加该项报表生成任务；例如5分钟采集周期，要求生成另外一个30分钟的报表，也就是说30分钟一个点，那么按照这个粒度，生成30分钟这个点的数据时，需要0，5，10，15，20，25这6点的采集数据，所以在25分钟这个点数据保存完毕，即具备了生成更大粒度报表的条件，所以就添加一项任务用来生成30分钟这个粒度的数据。在55分钟性能数据保存完毕时，在报表生成任务队列中添加一项任务，用来生成60分钟点的报表数据，以此类推。

步骤五、每次过期数据删除周期到，在过期数据删除任务队列中添加该项过期数据删除任务。

根据不同粒度报表的不同删除周期，在每个报表的删除周期到时，不是即时运行删除操作，而是在过期数据删除任务队列中添加一个任务，任务参数可以包含要删除数据的表名、删除的记录数或者删除数据的起始和终止期限等，用于删除该表中的过期数据。

步骤六、在采集周期的非性能数据保存时段根据优先级从报表生成任务队列或者过期数据删除任务队列中取出任务来执行，不同优先级的操作可以获得不同数量的执行时间。非性能数据保存时段包括如下几种情形：

1、无采集动作、无性能数据保存的采集周期中的非性能数据保存时段，这种情况是由于性能采集系统往往不是全天采集，而是分时段采集。这种情形下非性能数据保存时段指的是整个采集周期。

2、有采集动作、无性能数据保存的采集周期中的非性能数据保存时段，这种情况可能是设备原因无法采集数据，也就是下发了采集命令，可是由于设备原因，设备snmp(简单网络管理协议，Simple Network Management Protocol)协议不能响应，或者网络原因，不能访问设备，所以没有数据保存。或者有些数据需要累积多次计算，非单次采集能得到。这种情形下非性能数据保存时段指的是整个采集周期。

3、有采集动作，且有性能数据保存的采集周期中的非性能数据保存时段，这是通常情形的采集周期，非性能数据保存时段指的是整个采集周期除开性能数据保存时间的剩余时段。

在以上情况确定的非性能数据保存时段，根据优先级从报表生成任务队列或者过期数据删除任务队列中取出任务来执行，不同优先级的操作可以获得不同数量的执行时间。报表生成操作优先于过期数据处理(删除)操作执行，可以采用仅在报表生成任务队列中没有任务时才从过期数据删除任务队列中取任务执行的方式来体现，也可以采用从报表生成任务队列中取出执行的任务个数大于从过期数据删除任务队列中取出执行的任务个数的方式来体现。也可以采用可行的任何方式来体现。

以上说明了如何根据性能数据采集系统中涉及到的不同数据库操作内在的先后顺序，以及他们的重要程度来排定这些数据库操作的优先级，并为这些不同优先级的操作在整个系统运行时分配不同的操作时间，为优先级最高的性能数据存储操作划定专门的执行时间，而报表生成操作也优先于过期数据处理操作，让各个操作都能分时进行，分摊系统压力，提升系统可用性。

图3为本发明针对性能数据采集系统的数据库操作调度装置结构示意图，如图所示，本发明针对性能数据采集系统的数据库操作调度装置具体包括周期划分模块、任务添加模块和任务执行模块。

其中，周期划分模块用于将性能数据采集周期划分为性能数据存储时段和非性能数据存储时段两部分，其中性能数据存储时段专用于执行性能数据存储操作。该时段开始于性能数据采集完毕时，并保证该周期内的采集数据能够存储完毕。为性能数据存储操作划定专用的时段，且该时段开始于该采集周期的性能数据采集完毕时刻，能够保证性能数据存储操作能够在性能数据采集完毕后立即执行，并且为其划定了充足的时间，从而体现了在性能数据采集系统的数据库操作中，性能数据存储操作优先级最高的地位。

性能数据采集周期应不小于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。

任务添加模块用于创建两个任务队列，其中一个用来保存粒度更大的报表的生成任务，另一个用来保存过期数据处理任务，过期数据处理主要包括过期数据删除以及转储等。每当生成更大粒度报表的条件成就时在所述报表生成任务队列中添加该项报表生成任务；每当过期数据处理周期到时，在过期数据处理任务队列中添加该项过期数据处理任务。本实施例中，判断生成粒度更大的报表的条件是否成就的方法为，每次采集数据存储完毕，判断是否具备生成更大粒度报表的条件，如果条件具备则认为生成粒度更大的报表的条件已成就。

任务执行模块用于在采集周期的非性能数据存储时段，从上述两个任务队列中取出任务来执行。本实施例中，按照更大粒度的报表生成任务优先于过期数据处理任务执行的原则来执行上述两个任务。任务执行模块在从上述两个任务队列中取出任务来执行时，报表生成任务优于过期数据处理任务执行，具体方案可以为，仅在报表生成任务队列中没有任务时才从过期数据删除任务队列中取任务执行，也可以为从报表生成任务队列中取出执行的任务个数大于从过期数据删除任务队列中取出执行的任务个数。

本发明针对性能数据采集系统的数据库操作提出的方案，与传统性能数据采集系统中无规划的数据库操作方案相比，明确了数据库操作本身的时效性，使得在逻辑上有先后顺序的数据库操作在执行时机上也有相同的顺序，保证了每个操作的有效性，从而保证系统数据的正确性。

与以往的方案相比，本发明方案中每种数据库操作都能分时进行，避免同时操作给数据库带来的超负载，分摊了系统的压力，提升了系统的可用性。同时，不同优先级的操作能够获得不同数量的执行时间也体现了系统中重要即优先的原则。

本发明提供的方案中，涉及到了采集周期的选择，采集周期不小于所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时，保证采集到的所有性能数据都能够在剩余的采集周期保存完毕，这其实就是对性能数据存储这个数据库动作最高优先级的体现。因为它的及时性最强，所以为它在采集周期中划定了专门的执行时间，保证了性能数据的存储动作不迭加，避免给数据库带来较重的负载，同时内存也能得到及时的释放，使得性能采集系统能平稳地长期地运行下去。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应注意的是，以上所述仅为本发明的具体实施例而已，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求记载的技术方案及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种针对性能数据采集系统的数据库操作调度方法，其特征在于包括如下步骤：

2.根据权利要求1所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述性能数据采集周期大于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。

3.根据权利要求2所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述性能数据存储时段大于性能数据存储所需时间。

4.根据权利要求1所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述任务添加步骤中，判断所述生成更大粒度报表的条件是否成就的方法为，每次采集数据存储完毕，判断是否具备生成更大粒度报表的条件，如果条件具备则认为此时生成更大粒度报表的条件已成就。

5.根据权利要求1至4中任一项所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述任务执行步骤中，所述报表生成任务优于所述过期数据处理任务执行。

6.根据权利要求5所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述报表生成任务优于所述过期数据处理任务执行，指当所述报表生成任务队列中无任务时，方执行所述过期数据处理任务队列中的任务。

7.根据权利要求5所述的针对性能数据采集系统的数据库操作调度方法，其特征在于：

所述报表生成任务优于所述过期数据处理任务执行，指从所述报表生成任务队列中取出执行的任务数目多于从所述过期数据处理任务队列中取出执行的任务数目。

8.一种针对性能数据采集系统的数据库操作调度装置，其特征在于包括：

9.根据权利要求8所述的针对性能数据采集系统的数据库操作调度装置，其特征在于：

所述性能数据采集周期不小于对设备上所有采集点的性能数据采集完毕耗时加上这些性能数据全部存储于数据库的耗时。

10.根据权利要求8或9所述的针对性能数据采集系统的数据库操作调度装置，其特征在于：

所述任务执行模块在从所述两个任务队列中取出任务来执行时，所述报表生成任务优于所述过期数据处理任务执行。