CN103095492A - 一种数据采集方法及装置 - Google Patents

Abstract

本发明提供了一种数据采集方法及装置，其中采集方法包括：建立数据采集任务队列；生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；从所述数据采集任务队列中获取并执行主采集任务，所述主采集任务执行失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；从所述数据采集任务队列中获取并执行所述补采集任务。该采集方法能够保证采集的性能数据在时间粒度上的完整性。

Description

一种数据采集方法及装置

技术领域

本发明涉及数据通信领域，尤其涉及一种数据采集方法及装置。

背景技术

性能管理是电信网管系统的重要组成部分。性能管理的基础是性能数据，用户通过对性能数据的统计分析，可以了解网络的整体运行状况，为运营商的管理、决策提供依据。现有对性能数据采集的方法是周期性的产生主采集任务来采集系统的性能数据。但是由于网络原因，或者网元设备故障，经常会出现性能数据延迟上报的情况。当性能数据出现延迟上报，会出现性能管理的数据采集任务采集不到当前时间粒度的数据，导致性能数据出现了时间粒度上的不完整，而影响了对性能数据的统计分析。

发明内容

本发明要解决的主要技术问题是，提供一种数据采集方法及装置能够保证数据在时间粒度上的完整性。

为解决上述技术问题，本发明提供一种数据采集方法，包括以下步骤：

建立数据采集任务队列；

生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；

从所述数据采集任务队列中获取并执行主采集任务，所述主采集任务执行失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；

从所述数据采集任务队列中获取并执行所述补采集任务。

进一步地，所述主采集任务失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列。

进一步地，所述方法还包括：

当执行所述补采集任务失败时，判断执行所述补采集任务的次数是否小于预设次数，若是，则重新生成执行失败的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

进一步地，所述生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列包括：

每隔一段时间生成数据主采集任务并将生成的主采集任务加入所述数据采集任务队列；生成数据主采集任务的时间间隔值与生成补采集任务的时间间隔值不相同。

进一步地，当判定执行自动生成的补采集任务失败后，还包括：

接收手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中；

从所述数据采集任务队列中获取并执行所述手工补采集任务。

进一步地，所述建立数据采集任务队列包括：

建立数据采集任务队列，在所述采集任务队列中设置采集任务优先级，采集任务的优先级从高到低的顺序为：主采集任务、自动生成的补采集任务、手动补采集任务；

或者

所述建立数据采集任务队列包括：建立数据采集任务队列，根据采集任务的生成时间顺序排列所述数据采集任务队列中的采集任务。

进一步地，当主采集任务失败时，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后接收手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

同样为了解决上述的技术问题，本发明还提供了一种数据采集装置，包括：数据采集主控模块、主采集任务产生模块、补采集任务产生模块以及采集任务执行模块；

所述数据采集主控模块用于建立一个数据采集任务队列；

所述主采集任务产生模块用于生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；

所述采集任务执行模块用于从所述数据采集任务队列中获取并执行采集任务；

所述补采集任务产生模块用于当所述主采集任务执行失败时，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列。

进一步地，所述补采集任务产生模块包括自动补采集任务产生子模块；所述自动补采集任务产生子模块用于收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者用于收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列。

进一步地，所述的数据采集装置还包括：执行次数判断模块；所述执行次数判断模块用于当执行所述补采集任务失败时，判断执行所述补采集任务的次数是否小于预设次数，若是，则通知所述自动补采集任务产生子模块重新生成执行失败的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

进一步地，所述主采集任务产生模块用于每隔一段时间生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列，生成数据主采集任务的时间间隔值与生成补采集任务的时间间隔值不相同。

进一步地，所述数据采集装置还包括：指令接收模块和手工补采集任务产生模块；

所述指令接收模块用于当判定执行自动生成的补采集任务失败后，接收手工补采指令；

所述手工补采集任务产生模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中；

所述采集任务执行模块还用于从所述数据采集任务队列中获取并执行所述手工补采集任务。

进一步地，所述补采集任务产生模块包括：指令接收子模块和手工补采集任务产生子模块；

所述指令接收子模块用于在收到所述主采集任务失败通知后，接收用户输入的手工补采指令；

所述手工补采集任务产生子模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

本发明的有益效果是：

本发明的数据采集方法及装置能够保证性能数据在时间粒度上的完整性，其中性能数据采集方法包括：建立数据采集任务队列；生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；从所述数据采集任务队列中获取并执行所述主采集任务，在执行所述主采集任务失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；从所述数据采集任务队列中获取并执行所述补采集任务；该方法在主采集任务失败后产生相应的补采集任务继续采集没有采集到的数据，保证了数据的完整性，若是此时是对性能数据采集则保证了性能数据的完整性。并且本发明性能数据采集方法通过建立采集任务队列使任务执行过程和任务产生的过程独立起来，避免采集任务执行延时的问题。

附图说明

图1为本发明实施例一性能数据采集方法的一种流程图；

图2为本发明实施例一性能数据采集方法的另一种流程图；

图3为本发明实施例二性能数据采集装置的第一种结构示意图；

图4为本发明实施例二性能数据采集装置的第二种结构示意图；

图5为本发明实施例二性能数据采集装置的第三种结构示意图；

图6为本发明实施例二性能数据采集装置的第四种结构示意图；

图7为本发明实施例二性能数据采集装置的第五种结构示意图

图8为本发明实施例二数据采集数控线程的工作流程图；

图9为本发明实施例二数据主采定时器的处理流程图；

图10为本发明实施二自动补采定时器的处理流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

本发明的数据采集方法实用对各种系统中数据的采集，下面就以对电信网管软件系统中性能数据采集为例来说明本发明的数据采集方法。

实施例一：

如图1所示，本实施例的性能数据采集方法包括：

步骤101：建立性能数据采集任务队列；

步骤102：生成性能数据主采集任务并将所述主采集任务加入所述性能数据采集任务队列；

步骤103：从所述数据采集任务队列中获取并执行主采集任务，所述主采集任务执行失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；

步骤104：从所述性能数据采集任务队列中获取并执行所述补采集任务。

上述步骤103中所述主采集任务失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列。

本实施例生成与主采集任务对应的补采集任务的方式可以有多种，其具体的设置与采集的需求有关。以下列举几种设置方式：

1、收到主采集任务失败通知后，立即自动产生与主采集任务的对应补采集任务。

2、在执行主采集任务失败后开始延时，延时到预设时间阀值时，开始计时当计时时间达到预设时间阀值时自动产生对应的补采集任务，例如在执行主采集任务失败后延时5秒才计时，如计时时间达到10s时自动产生对应的补采集任务；

3、在执行主采集任务失败时开始计时，在预设生成补采集任务的时刻自动产生对应的补采集任务，如执行主采集任务失败后5s自动产生补采集任务，在实际的电信网管软件系统采集性能数据时，一般优先的在执行主采集任务失败后61分钟自动产生补采集任务。

其中设置方式1和2可以都是在执行主采集任务失败后，间隔一段时间来自动生成与主采集任务对应的补采集任务。

本实施例性能数据采集方法中生成补采集任务的方式不仅限于上述列举的几种设置方式，其生成的方式可以根据采集的需求以及生成主采集任务的时间来具体设置。

上述本实施例性能数据采集方法中都是自动生成补采集任务的，本实施生成与主采集任务对应的补采集任务也可以是手动输入采集指令生成相应的手工补采集任务。所以上述步骤103中当所述主采集任务失败时，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后接收手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

本实施例性能采集方式可以允许当主采集任务执行失败时，工作人员可以在系统界面上输入补采集指令，系统就会产生与主采集任务相对应的手工补采集任务来采集主采集任务没有采集到的性能数据。

同样本实施例中的生成主采集任务的方式也可以根据时间来设置，本实施例性能数据采集方法中生成主采集任务的方式可以为每隔一段时间生成数据主采集任务并将生成的主采集任务加入所述数据采集任务队列，其中可以设置不同的时间间隔来连续地生成主采集任务，也可以设置相同的时间间隔周期性的产生主采集任务。例如在设置相同时间间隔周期性的采集主采集任务的情况下可以每隔一个小时产生一个主采集任务；在设置不同的时间间隔来连续地生成主采集任务的情况下可以在8点钟生成第一个主采集任务，在11点钟生成第二个主采集任务，在15点钟生成第三个主采集任务，以此类推。当然本实施例的生成主采集任务的方式不仅仅是上述列举的几种，其生成方式可以根据采集性能数据的需求来从软件或者硬件上来设置。

本实施例的补采集任务生成的时间与主采集任务生成的时间以同一参考时间为标准；也可以不以同一参考时间为标准，如当发现执行主采集任务失败后开始计时，到计时达到补采集任务生成的预设时刻则自动产生补采集任务，该计时的起点也是可以设置的；可计时的起点可以为当执行主采集任务失败时立刻从零开始计时，当时间达到预设时刻产自动产生补采集任务；也可以是当执行主采集任务失败时相隔5s之后开始从零计时，当时间达到预设时刻自动产生补采集任务。

若主采集任务生成时间与补采集任务生成时间以同一参考时间为标准，则自动生成补采集任务的时刻是确定的，如主采集任务的生成周期是5s，可以设置自动生成补采集任务时间的周期为6s，在6s前若判断执行主采集任务失败，则在第6s自动产生一个对应的补采集任务。

为了确保能够采集到先前时刻没有采集到的性能数据，本实施例的数据采集方法还包括：

当执行补采集任务失败时，判断执行补采集任务的次数是否小于预设次数，若是，则重新生成执行失败的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

重新生成执行失败的补采集任务可以根据上述自动生成补采集任务的方式来再次自动生成补采集任务，如可以当执行补采集任务失败时，在判断执行该补采集任务的次数是否小于预设次数时立即重新自动产生该补采集任务，或者开始计时在计时达到预设时间时自动产生该补采集任务，或者延时一段时间后，开始计时，在计时达到预设时间时自动产生该补采集任务。

本实施的性能数据采集方法在执行主采集任务失败后会自动产生相应的补采集任务来继续完成失败的采集任务，保证了采集的性能数据在时间上的完整性。假设产生主采集任务的周期为1个小时，电信网管软件系统每隔1个小时产生一个主采集任务加入到性能数据采集任务队列中去，执行任务时需要从采集任务队列中提取主采集任务。当执行该时间点的主采集任务失败时系统会以以下两种方式自动产生补采集任务：

1、在生成补采集任务与主采集任务以同一参考时间为标准的情况下，在执行该时间点的主采集任务时，会在预先设置产生补采集任务的时间点产生与该时间点主采集任务对应的补采集任务。为了确保能采集到该时间的性能数据，可以在执行补采集任务失败后再次自动产生与该时间点主采集任务对应的补采集任务，自动产生该时间点的补采集任务的次数可以是预先设定的，列如预设补采集任务的生成次数为三次，并且预设产生补采集任务的时间为在整点时间后的一分钟，如8:01、9:01、10:01……，主采集任务每隔一个小时产生，当执行7点钟产生主采集任务失败时，系统会在8:01分第一次自动产生一个与7点钟主采集任务对应的补采集任务，若执行与7点钟主采集任务对应的补采集任务失败时，由于产生补采集任务的次数小于3，将会在9:01第二次自动产生一个与7点钟主采集任务对应的补采集任务，若再次执行该补采集任务失败，则在10:01最后一次自动产生与7点钟主采集任务对应的补采集任务，若执行该补采集任务还是失败则判断采集失败。同时在本实施中为了确保在同一时间点产生补采集任务不发生时间上的冲突，可以对每个主采集任务设置不同的产生补采集任务的时间，如对于7点钟主采集任务对应的补采集任务可以设置在每个整点时间的后1分钟来产生，对于8点钟主采集任务对应的补采集任务可以设置在每个整点时间的后2分钟来产生，其他主采集任务对应的补采集任务生成时间以此类推。

2、在生成补采集任务与主采集任务不以同一参考时间为标准的情况下，可以以执行失败的时间点为起点间隔一段时间（隔61分钟）来产生后自动产生一个该时间点主采集任务对应的补采集任务来继续完成性能数据的采集。例如在执行8点钟产生的主采集任务失败时，以执行失败的时间点（如8:02）为起点，在这个起点后从零开始计时，当计时达到61分钟时自动产生一个与8点钟主采集任务对应的补采集任务，为了确保系统能够采集到所需产生的性能数据，可以设置自动产生多次与该时间点主采集任务的次数，假设预设产生补采集任务的次数为三次；在执行第一次自动产生的与8点钟主采集任务对应的补采集任务失败后，以执行补采集任务失败时的时刻为起点从零计时，当计时达到61分钟时第二次产生与8点钟主采集任务对应的补采集任务；若执行第二次产生的与8点钟主采集任务对应的补采集任务失败时，从以执行第二次产生的补采集任务失败的时刻为起点开始计时，当计时达到61分钟时，第三次产生与8点钟主采集任务对应的补采集任务，若执行第三次产生的补采集任务还是失败，则判定采集失败。若预先设置了自动产生补采集任务的次数，可以在首次自动产生该时间点的补采集任务时限定自动产生补采集任务的次数，此时的补采集任务记录了需要补采的性能数据、时间点以及产生的次数。假设产生次数为三次的情况下，系统将会执行该时间点的补采集任务直至成功或者当预定产生补采集任务的次数执行完。

本实施例性能数据采集方法步骤103中当所述主采集任务失败时，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后接收用户输入的手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

在当主采集任务失败后，可以允许工作人员在输入界面上输入相应的手工补采指令生成补采集任务保证能采集到先前没有采集到的性能数据。

上述步骤102中生成性能数据主采集任务的过程包括：

判断所述性能数据采集任务队列中是否存在需要生成的主采集任务，若存在，则不生成性能数据主采集任务，若不存在，则生成性能数据主采集任务。

上述自动生成相应的补采集任务的过程包括：

判断所述性能数据采集任务队列中是否存在需要生成的补采集任务，若存在，则不生成所述补采集任务，若不存在，则自动生成与该主采集任务相对应的补采集任务，该补采集任务记录了需要补采的性能数据和时间点。

如图2所示，在电信网管软件系统中性能管理中本实施例性能数据采集方法具体过程如下：

步骤201：建立性能数据采集任务队列；

步骤202：判断所述性能数据采集任务队列中是否存在需要生成的主采集任务，若存在，则执行步骤203，若不存在，则执行步骤204；

步骤203：不生成性能数据主采集任务；

步骤204：生成一个性能数据主采集任务并将该主采集任务加入所述性能数据采集任务队列；

步骤205：从性能数据采集任务队列中获取并执行该主采集任务；

步骤206：判断该主采集任务是否执行成功，若成功，则执行步骤207，若失败，则执行步骤208；

步骤207：执行结束；

步骤208：判断性能数据采集任务队列中是否存在需要生成的补采集任务，若存在，则执行步骤209，如不存在，则执行步骤210；

步骤209：不生成补采集任务；

步骤210：判断执行需要生成的补采集任务的次数是否小于预设次数，若是，则执行步骤212；若否，则执行步骤211；

步骤211：判定采集失败；

步骤212：生成与该主采集任务对应的补采集任务，并加入到性能数据采集任务队列中，所述补采集任务记录了需要补采的性能数据和时间点；

步骤213：从性能数据采集任务队列中获取并执行该补采集任务：

步骤214：判断执行所述补采集任务是否失败，若成功，则执行步骤215，若失败，则返回步骤208；

步骤215：执行结束。

为了能够精确的采集到所需的性能数据以及减少资源浪费，本实施的性能数据采集方法的步骤205中从所述性能数据采集任务队列中获取并执行所述主采集任务的过程包括：

从所述性能数据采集任务队列中获取主采集任务；

根据所述主采集任务判断需要采集的性能数据是否已经上报，若是，则根据所述主采集任务采集相应的性能数据，若否，则判定执行所述主采集任务失败。

为了保证采集的性能数据的完整性，本实施例性能数据采集方法中在根据所述主采集任务采集相应的性能数据完成之后还包括：

检查采集到的性能数据是否完整，若不完整，则判定执行所述主采集任务失败，若完整，则执行所述主采集任务成功。

对于上述的执行主采集的过程同样适用于执行补采集任务。

为了能够采集到当前时间粒度的性能数据，本实施例性能数据采集方法在当判定执行自动生成的补采集任务失败后还包括：

接收用户输入的手工补采指令；

根据所述手工补采指令生成手工补采任务并加入到所述性能数据采集任务队列中；

从所述性能数据采集任务队列中获取并执行所述手工补采任务。

在电信网管软件系统中如果主采任务和自动生成的补采集任务都没有采集成功，可以通过性能管理的手工补采功能进行数据补采，通过三种采集的保护机制确保能够采集到完整的性能数据。

本实施例中的由于性能数据采集任务队列中存在三种采集任务，为了保证三种采集任务在执行时间上不冲突，并且能够保证主采集任务的优先执行，可以给三种采集任务设置优先级，一般的在执行采集任务时首先要保证主采集任务的先执行，所以主采集任务的优先级最高，具体的限定内容如下：

本实施例的性能数据采集方法中建立性能数据采集任务队列包括：

建立性能数据采集任务队列，在所述采集任务队列中设置采集任务优先级，采集任务的优先级从高到低的顺序为：主采集任务、自动生成的补采集任务、手动补采任务。

该优先级设置方式有两种：

一种是采集任务队列中的采集任务按照各自的优先级排列，读取采集任务时只需要按照从队首至队尾的顺序来读取，也就是说在从所述性能数据采集任务队列中获取并执行自动生成的补采集任务和手动补采任务之前均执行完在所述采集任务队列中优先级高的采集任务。优先级最高的采集任务排列在队首，执行任务时，首先获取队首的采集任务，然后按照优先级排列的顺序获取采集任务执行。

另一种是数据采集任务队列中设置优先级，采集任务中不按照优先级来排列，但是在读取采集任务时按照采集任务的优先级来读取。

本实施例的性能数据采集方法中所述建立性能数据采集任务队列也可以包括：建立性能数据采集任务队列，根据采集任务的生成时间顺序排列所述数据采集任务队列中的采集任务；

本实施例采集任务在队列中的排列方式不仅可以根据采集任务的优先级来排列，也可以根据产生各个采集任务的时间排列，先产生的采集任务排列在队列前面，后产生的采集任务排列在队列后面。读取采集任务时候，从执行任务时，从队首按顺序一直向队尾获取采集任务进行执行；或者结合任务的生成时间和各任务的优先级对生成的各任务进行排序。

为了防止生成主采集任务与生成的补采集任务在时间上相冲突，本实施例中生成数据主采集任务的时间间隔值与生成的补采集任务的时间间隔值不相同。如可以设置每隔一个小时生成一个主采集任务，当执行主采集任务失败时开始计时，当计时达到61分钟时才产生补采集任务。这样就错开了两种任务的产生时间。

本实施例的性能数据采集方法解决由于网络原因，或者网元设备故障，而出现性能数据延迟上报的情况，保证性能数据在时间粒度上的完整性。

实施例二：

本实施例中采集的数据可以为电信软件系统中的性能数据，如图3所示，本实施例提供了一种性能数据采集装置，数据采集主控模块、主采集任务产生模块、补采集任务产生模块以及采集任务执行模块；

数据采集主控模块用于建立一个数据采集任务队列；

主采集任务产生模块用于生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；

采集任务执行模块用于从所述数据采集任务队列中获取并执行所述主采集任务；

补采集任务产生模块用于当所述主采集任务执行失败时，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；

采集任务执行模块还用于从所述数据采集任务队列中获取并执行所述补采集任务。

如图4所示，本实施例中的补采集任务产生模块包括自动补采集任务产生子模块；所述自动补采集任务产生子模块用于收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者用于收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列

本实施例中自动补采集任务产生子模块收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列包括下面两种情况：

1、用于当执行所述采集任务失败时，开始计时，在计时达到一定的时间后，自动生成对应的补采集任务并加入所述数据采集任务队列；

2、用于当执行所述采集任务失败时，开始延时，当延迟一段时间后，开始计时，在计时达到一定的时间时，自动生成对应的补采集任务并加入所述数据采集任务队列。

如图5所示，本实施例中的补采集任务产生模块可以包括：指令接收子模块和手工补采集任务产生子模块；

指令接收子模块用于在收到所述主采集任务失败通知后，接收手工补采指令；

手工补采集任务产生子模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

当装置可以在主采集任务执行失败后，允许工作人员手动输入采集指令，生成相应的采集任务采集缺失的数据。

如图6所示，本实施例的数据采集装置还包括：执行次数判断模块；所述执行次数判断模块用于当执行所述补采集任务失败时，判断执行所述补采集任务的次数是否小于预设次数，若是，则通知所述自动补采集任务产生子模块重新生成与所述主采集任务对应的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

本实施例中的主采集任务产生模块用于每隔一段时间生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列，生成数据主采集任务的时间间隔值与生成补采集任务的时间间隔值不相同。这样可以防止在生成主采集任务和补采集任务在时间上的冲突。

如图7所示，在判定执行自动生成的补采集任务失败时本实施例的采集装置还可以包括：

指令接收模块用于当判定执行自动生成的补采集任务失败后，接收手工补采指令；

手工补采集任务产生模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中；

采集任务执行模块还用于从所述数据采集任务队列中获取并执行所述手工补采集任务。

本实施例中的采集任务执行模块可以根据数据队列中采集任务的优先级来获取需要执行的任务或者可以根据采集任务产生的时间来获取需要执行的采集任务。

上述本实施例的模块可以根据工艺需求，将任意的多个模块设置在同一个集成电路或者模块中，如将手工补采任务产生模块和指令接收模块设置在同一模块中。

在实际应用中本实施例的采集装置可以由两个工作线程和两个定时器来完成。本实施例中数据主控模块可以为数据采集数控线程，主采集任务产生模块可以为数据主采定时器，自动补采集任务产生子模块可以为自动补采定时器，手工补采任务产生模块或子模块可以为手工补采监听线程。

数据采集数控线程，建立一个数据采取任务队列，并且负责监控和维护该采集任务的队列；

数据主采定时器，负责定时生成一个性能数据采集主采任务并加入队列；

自动补采定时器，负责定时自动生成一个性能数据的补采集任务并加入队列；

手工补采监听线程，监听手工补采的消息，当接收到补采消息，负责生成一个性能数据采集补采任务并加入队列。

本实施例数据采集数控线程和采集任务执行模块的工作过程如下,如图8所示:

步骤801:主控初始化时对比上报的性能数据和采集的性能数据，自动生成缺失的小时粒度的采集任务队列；

步骤802：判断是否能从任务队列中获取第一个任务，如果获取不到执行步骤803，若获取的到执行步骤804；

步骤803：线程挂起，等待线程唤醒；

步骤804：修改任务状态从“挂起”为“执行”状态；

步骤805：执行采集任务；

步骤806:检查任务执行结果，如果执行成功，转步骤810；

步骤807：检查任务是否为定时采集任务（主采集任务或补采集任务），如果否，转步骤810；

步骤808:检查采集任务的自动补采次数，是否已经是0次。如果是，转步骤810；

步骤809:开启一个新的定时任务即增加一个自动补采的定时任务；

步骤810:采集任务执行结束，修改任务状态从“执行”为“完成”状态；

步骤811:从任务队列中清除已完成的采集任务。

数据主采定时器和自动补采定时器的处理流程，步骤如图9所示。

步骤901：检查队列是否存在相同的采集任务，若存在，执行步骤902，若不存在执行步骤903；

步骤902:不创建采集任务；

步骤903:创建一个采集任务，并加入到任务队列；

步骤904:消息唤醒采集主控线程，通知已经有新任务加入任务队列。

手工补采监听线程的处理流程，步骤如图10所示。

步骤1001：监听手工补采消息，如果没有补采消息则等待；

步骤1002检查队列是否存在相同的采集任务，若存在，则执行步骤1003，若不存，则执行步骤1004；

步骤1003：不创建采集任务；

步骤1004：创建一个采集任务，并加入到任务队列；

步骤1005：消息唤醒采集主控线程，通知已经有新任务加入任务队列。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现，基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (13)

1.一种数据采集方法，其特征在于，包括以下步骤：

建立数据采集任务队列；

生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；

从所述数据采集任务队列中获取并执行主采集任务，所述主采集任务执行失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列；

从所述数据采集任务队列中获取并执行所述补采集任务。

2.如权利要求1所述的数据采集方法，其特征在于，所述主采集任务失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列。

3.如权利要求2所述的数据采集方法，其特征在于，所述方法还包括：

当执行所述补采集任务失败时，判断执行所述补采集任务的次数是否小于预设次数，若是，则重新生成执行失败的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

4.如权利要求3所述的数据采集方法，其特征在于，所述生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列包括：

每隔一段时间生成数据主采集任务并将生成的主采集任务加入所述数据采集任务队列；生成数据主采集任务的时间间隔值与生成补采集任务的时间间隔值不相同。

5.如权利要求4所述的数据采集方法，其特征在于，当判定执行自动生成的补采集任务失败后，还包括：

接收用户输入的手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中；

从所述数据采集任务队列中获取并执行所述手工补采集任务。

6.如权利要求5所述的数据采集方法，其特征在于，所述建立数据采集任务队列包括：

建立数据采集任务队列，在所述采集任务队列中设置采集任务优先级，采集任务的优先级从高到低的顺序为：主采集任务、自动生成的补采集任务、手动补采集任务；

或者

所述建立数据采集任务队列包括：建立数据采集任务队列，根据采集任务的生成时间顺序排列所述数据采集任务队列中的采集任务。

7.如权利要求1所述的数据采集方法，其特征在于，所述主采集任务失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列包括：

收到所述主采集任务失败通知后接收用户输入的手工补采指令；

根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

8.一种数据采集装置，其特征在于，包括：数据采集主控模块、主采集任务产生模块、补采集任务产生模块以及采集任务执行模块；

所述数据采集主控模块用于建立一个数据采集任务队列；

所述主采集任务产生模块用于生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列；

所述采集任务执行模块用于从所述数据采集任务队列中获取并执行采集任务；

所述补采集任务产生模块用于所述主采集任务执行失败后，生成与该主采集任务对应的补采集任务并加入所述数据采集任务队列。

9.如权利要求8所述的数据采集装置，其特征在于，所述补采集任务产生模块包括自动补采集任务产生子模块；所述自动补采集任务产生子模块用于收到所述主采集任务失败通知后，间隔一段时间后自动生成所述补采集任务并加入所述数据采集任务队列；

或者用于收到所述主采集任务失败通知后，立即自动生成所述补采集任务并加入所述数据采集任务队列。

10.如权利要求9所述的数据采集装置，其特征在于，还包括：执行次数判断模块；所述执行次数判断模块用于当执行所述补采集任务失败时，判断执行所述补采集任务的次数是否小于预设次数，若是，则通知所述自动补采集任务产生子模块重新生成执行失败的补采集任务并加入所述数据采集任务队列；若否，则判定执行自动生成的补采集任务失败。

11.如权利要求10所述的数据采集装置，其特征在于，所述主采集任务产生模块用于每隔一段时间生成数据主采集任务并将所述主采集任务加入所述数据采集任务队列，生成数据主采集任务的时间间隔值与生成补采集任务的时间间隔值不相同。

12.如权利要求11所述的数据采集装置，其特征在于，还包括：指令接收模块和手工补采集任务产生模块；

所述指令接收模块用于当判定执行自动生成的补采集任务失败后，接收手工补采指令；

所述手工补采集任务产生模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中；

所述采集任务执行模块还用于从所述数据采集任务队列中获取并执行所述手工补采集任务。

13.如权利要求8所述的数据采集装置，其特征在于，所述补采集任务产生模块包括：指令接收子模块和手工补采集任务产生子模块；

所述指令接收子模块用于在收到所述主采集任务失败通知后，接收手工补采指令；

所述手工补采集任务产生子模块用于根据所述手工补采指令生成手工补采集任务并加入到所述数据采集任务队列中。

Images