CN102750182A - 一种基于自定义任务调度的主动采集的处理方法 - Google Patents

一种基于自定义任务调度的主动采集的处理方法 Download PDF

Info

Publication number
CN102750182A
CN102750182A CN2012101918971A CN201210191897A CN102750182A CN 102750182 A CN102750182 A CN 102750182A CN 2012101918971 A CN2012101918971 A CN 2012101918971A CN 201210191897 A CN201210191897 A CN 201210191897A CN 102750182 A CN102750182 A CN 102750182A
Authority
CN
China
Prior art keywords
data
acquisition
task scheduling
collection
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101918971A
Other languages
English (en)
Inventor
王清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU WEIYILANG TECHNOLOGY CO LTD
Original Assignee
SUZHOU WEIYILANG TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU WEIYILANG TECHNOLOGY CO LTD filed Critical SUZHOU WEIYILANG TECHNOLOGY CO LTD
Priority to CN2012101918971A priority Critical patent/CN102750182A/zh
Publication of CN102750182A publication Critical patent/CN102750182A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于自定义任务调度的主动采集的处理方法，包括以下步骤：检索规则配置库、明确采集时限和采集对象、连接采集源、采集相应数据、数据是否存在、转换成原始数据和存入异常数据库。通过上述方式，本发明提供的基于自定义任务调度的主动采集的处理方法，为综合展示提供相关数据，主要是用于主动和定时执行相关数据的采集动作，提高了自定义任务调度的主动采集的效率。

Description

一种基于自定义任务调度的主动采集的处理方法
技术领域
本发明涉及基于自定义任务调度的领域，特别是涉及一种基于自定义任务调度的主动采集的处理方法。
背景技术
目前，信息化建设正以前所未有的速度发展，各种各样的数据急剧膨胀。随着Web技术的不断发展，信息共享和数据交换的范围不断扩大，传统的关系数据库也面临着挑战，各种不同的数据库管理系统之间的数据需要进行任务调度，使其能够应用于数据采集环节中。
发明内容
本发明主要解决的技术问题是提供一种基于自定义任务调度的主动采集的处理方法，由系统自动运行，无需手工业务操作，为综合展示提供相关数据，主要是用于主动和定时执行相关数据的采集动作，提高了自定义任务调度的主动采集的效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于自定义任务调度的主动采集的处理方法，包括以下步骤：
a、检索规则配置库，系统根据规则配置库定义的采集内容，准时和主动进行数据采集，输出相应的采集时限和采集对象；
b、明确采集时限和采集对象，输入采集时限和采集对象经过明确后，输出采集规则信息；
c、连接采集源，输入上述的采集规则信息，输出采集源信息；
d、采集相应数据，输入上述的采集源信息，输出采集数据；
e、数据是否存在，系统输入上述的采集数据进行数据判断，区分数据是否有异常，存在的数据的数据为正常数据，不存在的数据为异常数据；
f、转换成原始数据，系统将采集到的正常数据经过转换成原始数据输出；
g、存入异常数据库，将异常数据存入异常数据库，并创建相应的日志文件。
在本发明一个较佳实施例中，所述的规则配置库定义的采集内容包括采集类型和采集时限。
在本发明一个较佳实施例中，所述的原始数据为系统所采集或接收到的未经任何处理的数据
本发明的有益效果是：本发明的基于自定义任务调度的主动采集的处理方法，按照规则配置库所定义的采集内容，主动获取机房综合环境相关的原始数据，为数据处理提供基础数据，由系统自动运行，无需手工业务操作，为综合展示提供相关数数据，主要是用于主动和定时执行相关数据的采集动作，提高了自定义任务调度的主动采集的效率。
附图说明
图1是本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，为本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图，该基于自定义任务调度的主动采集的处理方法，包括以下步骤：
a、检索规则配置库，系统根据规则配置库定义的采集内容，准时和主动进行数据采集，输出相应的采集时限和采集对象；
b、明确采集时限和采集对象，输入采集时限和采集对象经过明确后，输出采集规则信息；
c、连接采集源，输入上述的采集规则信息，输出采集源信息；
d、采集相应数据，输入上述的采集源信息，输出采集数据；
e、数据是否存在，系统输入上述的采集数据进行数据判断，区分数据是否有异常，存在的数据的数据为正常数据，不存在的数据为异常数据；
f、转换成原始数据，系统将采集到的正常数据经过转换成原始数据输出；
g、存入异常数据库，将异常数据存入异常数据库，并创建相应的日志文件。
上述中的，规则配置库定义的采集内容包括采集类型和采集时限；原始数据为系统所采集或接收到的未经任何处理的数据
本发明中的 “自定义”指NGDP的相关数据采集任务可以由用户自行设定其频率、状态等参数；“任务”指系统中采集或接收数据的动作；“调度”指系统中相关动作执行的安排。
本发明中自定义任务调度的研发环境：Java jdk 1.7 + eclipse 3.7；服务器：操作系统CentOS 6.0 Linux，CPU Intel(R) Xeon(R) E5620 2.40GHz，内存4GB，硬盘500GB；客户端：Windows 7专业版操作系统。
本发明揭示的基于自定义任务调度的主动采集的处理方法，按照规则配置库所定义的采集内容，主动获取机房综合环境相关的原始数据，为数据处理提供基础数据，由系统自动运行，无需手工业务操作，为综合展示提供相关数数据，主要是用于主动和定时执行相关数据的采集动作，提高了自定义任务调度的主动采集的效率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于自定义任务调度的主动采集的处理方法，其特征在于，包括以下步骤：
a、检索规则配置库，系统根据规则配置库定义的采集内容，准时和主动进行数据采集，输出相应的采集时限和采集对象；
b、明确采集时限和采集对象，输入采集时限和采集对象经过明确后，输出采集规则信息；
c、连接采集源，输入上述的采集规则信息，输出采集源信息；
d、采集相应数据，输入上述的采集源信息，输出采集数据；
e、数据是否存在，系统输入上述的采集数据进行数据判断，区分数据是否有异常，存在的数据的数据为正常数据，不存在的数据为异常数据；
f、转换成原始数据，系统将采集到的正常数据经过转换成原始数据输出；
g、存入异常数据库，将异常数据存入异常数据库，并创建相应的日志文件。
2.根据权利要求1所述的基于自定义任务调度的主动采集的处理方法，其特征在于，所述的规则配置库定义的采集内容包括采集类型和采集时限。
3.根据权利要求1所述的基于自定义任务调度的主动采集的处理方法，其特征在于，所述的原始数据为系统所采集或接收到的未经任何处理的数据。
CN2012101918971A 2012-06-12 2012-06-12 一种基于自定义任务调度的主动采集的处理方法 Pending CN102750182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101918971A CN102750182A (zh) 2012-06-12 2012-06-12 一种基于自定义任务调度的主动采集的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101918971A CN102750182A (zh) 2012-06-12 2012-06-12 一种基于自定义任务调度的主动采集的处理方法

Publications (1)

Publication Number Publication Date
CN102750182A true CN102750182A (zh) 2012-10-24

Family

ID=47030401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101918971A Pending CN102750182A (zh) 2012-06-12 2012-06-12 一种基于自定义任务调度的主动采集的处理方法

Country Status (1)

Country Link
CN (1) CN102750182A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504513A (zh) * 2014-12-17 2015-04-08 昆明能讯科技有限责任公司 一种基于配置库的电网线路设备快速采集方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165983A1 (en) * 2004-01-26 2005-07-28 Samsung Electronics Co., Ltd. System and method for processing data in kernel area by a user command
JP2006515690A (ja) * 2001-12-14 2006-06-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 複数のプロセッサを有するデータ処理システムと、複数のプロセッサを有するデータ処理システムのためのタスクスケジューラと、タスクスケジューリングの対応する方法
CN102209118A (zh) * 2011-06-10 2011-10-05 成都勤智数码科技有限公司 一种分布式海量数据汇聚方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515690A (ja) * 2001-12-14 2006-06-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 複数のプロセッサを有するデータ処理システムと、複数のプロセッサを有するデータ処理システムのためのタスクスケジューラと、タスクスケジューリングの対応する方法
US20050165983A1 (en) * 2004-01-26 2005-07-28 Samsung Electronics Co., Ltd. System and method for processing data in kernel area by a user command
CN102209118A (zh) * 2011-06-10 2011-10-05 成都勤智数码科技有限公司 一种分布式海量数据汇聚方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504513A (zh) * 2014-12-17 2015-04-08 昆明能讯科技有限责任公司 一种基于配置库的电网线路设备快速采集方法

Similar Documents

Publication Publication Date Title
CN110275898B (zh) 使用基于知识图的解释性设备管理的集成监控与通信系统
US10275278B2 (en) Stream processing task deployment using precompiled libraries
US11663257B2 (en) Design-time information based on run-time artifacts in transient cloud-based distributed computing clusters
Alfian et al. Real-time monitoring system using smartphone-based sensors and nosql database for perishable supply chain
US8607018B2 (en) Memory usage configuration based on observations
Sahal et al. Industry 4.0 towards Forestry 4.0: Fire detection use case
US10061858B2 (en) Method and apparatus for processing exploding data stream
CN105550268A (zh) 大数据流程建模分析引擎
CN102521232B (zh) 一种互联网元数据的分布式采集处理系统及方法
US20160253172A1 (en) Indicating a trait of a continuous delivery pipeline
US10567557B2 (en) Automatically adjusting timestamps from remote systems based on time zone differences
Pimentel et al. Yin & Yang: demonstrating complementary provenance from noWorkflow & YesWorkflow
US9471362B2 (en) Correlating hypervisor data for a virtual machine with associated operating system data
CN103927314A (zh) 一种数据批量处理的方法和装置
US8417688B2 (en) Converting two-tier resource mapping to one-tier resource mapping
CN111046000B (zh) 一种面向政府数据交换共享的安全监管元数据组织方法
CN105677763A (zh) 一种基于Hadoop的图像质量评估系统
CN111400288A (zh) 数据质量检查方法及系统
Kammerer et al. Process-driven and flow-based processing of industrial sensor data
Hongqian et al. Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms
Alonso et al. CloudOps: Towards the operationalization of the cloud continuum: Concepts, challenges and a reference framework
Kang et al. Real-time information derivation from big sensor data via edge computing
Zhang et al. Application of workflow technology for big data analysis service
Agostinho et al. Dynamic adaptors to support model-driven interoperability and enhance sensing enterprise networks
CN102750182A (zh) 一种基于自定义任务调度的主动采集的处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024