CN103885781A - 一种双队列数据采集开发方法 - Google Patents

Abstract

本发明公开了一种双队列数据采集开发方法，通过对数据采集过程中配置采集对象属性、执行采集任务，返回采集结果这三个环节的抽象，实现了一个可扩展的采集引擎接口。通过实现统一的采集配置接口、采集任务执行接口、采集任务数据发送接口的方法可以减少对不同任务执行的繁琐开发，快速的开发采集程序，无需关心采集任务的调度情况，只需要关心具体监控对象数据的获取方法，具有跨平台、执行效率高、简单易用等显著优点。

Description

一种双队列数据采集开发方法

技术领域

    本发明属于监控软件技术，尤其适用于开发监控软件的设计同时能异步执行采集任务和发送采集结果的数据采集引擎接口实现方法，主要是与数据提取运行引擎接口实现方法技术领域。

背景技术

    随着信息时代的到来，人们对于通信方式、通信效率的要求也越来越高。信息社会对计算机网络的依赖，使得计算机网络本身运行的可靠性变得至关重要，同时，也对网络的管理提出了更高的要求。信息技术在企业中的应用的不断深入显得越来越重要，未来甚至许多企业就是只依靠信息化建设而生存。保证信息的畅通、安全对于企业来说越来越重要。目前，出于对资源专业化、精细化管理的要求，企业部署了诸多的监控管理工具，如网络监控、系统监控、数据库监控工具、视频监控、安全监控等。一般来说，这些监控工具往往来自于不同的厂商，彼此之间缺乏信息共享的手段。而一个具体的业务是由网络、主机、应用本身所组成，管理信息无法共享，这就造成了当一个故障出现时，无法通过系统直接自动分析并定位故障点，加大了故障的分析难度，降低了解决问题的效率。同时这些软件一般是按照执行采集、执行发送的同步方式进行执行采集任务。   

发明内容

本发明通过对上述这些监控软件、数据采集过程的归纳分析，提出了一种双队列数据采集开发方法，主要关注与数据提取运行引擎。

本发明的目的是实现快速搭建监控采集平台、实现统一的数据对外接口，简化监控程序的开发过程，提出了一种能异步执行采集任务和发送采集结果的数据采集引擎监控程序设计方法。本发明将采集任务的执行分离出来，自己只用专注于监控对象处理的业务逻辑。

本发明是通过下列技术方案来实现的。

一种双队列数据采集开发方法，本发明下列技术方案来实现：

1） 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 

2） 提供统一的HTTP请求方式的任务管理接口方法，实现任务的启动、停止、修改、删除；

3） 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；

4） 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；

5） 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。

本发明实现了统一的数据接口设置采集监控对象的必要条件，如任务管理端口、数据接收地址、端口可灵活配置。 

本发明的有益效果是，实现了快速搭建监控采集平台、实现了统一的数据对外接口，简化监控程序的开发过程，提出了一种能异步执行采集任务和发送采集结果的数据采集引擎监控程序设计方法。

附图说明

图1双队列采集方法使用示意图。

具体实施方式

下面结合附图及实例进一步阐述本发明内容。

见图1,一种双队列数据采集开发方法，本发明通过下列技术方案来实现：

1) 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 

2) 提供统一的HTTP请求方式的任务管理接口方法，实现任务的启动、停止、修改、删除；

3) 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；

4) 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；

5) 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。

    实施例

1） 定义任务管理数据结构，编写任务管理类、采集条件属性类，相关数据接口如下(这里试例采用java编程语言实现):

任务管理类：

class AcquisitorInteractiveInfo {

       private string acquisitorURI  ;//采集对象类型唯一标示

       private string acquisitorDesc  ;//采集器类型描述

       private string acquisitorDetail ;//其他描述信息

       private string targetURI ;//采集对象唯一标示 

       private AcquisitionPropertyInfo[] globalProperties ;//采集条件类（如端口、IP等）

       private AcquisitionItemInfo[] acquisitionItems  ; //采集任务指标类集合

 private boolean    

}

采集条件属性类：

class AcquisitionPropertyInfo {

       private string name  ;//监控条件名称

       private string itemDesc  ;//描述信息

       private string itemDetail  ;//详细描述信息

       private boolean required  ;// 是否必须 

private string dataType;//条件数据类型

} 

采集任务指标类：

class AcquisitionItemInfo {

       private string name  ;//监控指标名称

       private string itemDesc  ;//描述信息

       private string itemDetail  ;//详细描述信息

       private boolean running  ;// 是否执行采集

       private int32 interval  ; //采集间隔

} 

2） 编写HTTP请求方式的任务管理接口方法，实现任务的启动、停止、修改、删除。接口如下:

 public void runTask(AcquisitorInteractiveInfo task);//启动任务

public void updateTask(AcquisitorInteractiveInfo task);//修改、停止采集任务

public void deleteTask(AcquisitorInteractiveInfo task);//删除采集任务

3） 编写任务执行类的，该类需实现统一的任务执行接口方法，返回相同的数据结构。如:public void run(AcquisitorInteractiveInfo task)

4） 编写数据接口发送类，该类需实现对发送内容进行Base64编码操作和操作接口，以Base64编码字符发送采集结果。如下:

public String encode(String str);//编码接口

public void send(String ipAddress，String port,String msg);//发送接口

5） 编写双队列工作类，实现双队列采集任务执行和采集结果发送调度功能。如:

Class DoubleQueueTaskSchedual{

private ArrayBlockQueue taskQueue;//任务队列

private ArrayBlockQueue resultQueue;//结果队列

public void addTask(AcquisitorInteractiveInfo task);//加入采集任务

public void send(String msg);//发送采集结果

}

Claims (1)

1.一种双队列数据采集开发方法，其特征是：

1) 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 

2) 提供统一的HTTP请求方式的任务管理接口方法，实现任务的注册、配置、启动、停止、修改、删除；

3) 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；

4) 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；

5) 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。