CN102750182A - 一种基于自定义任务调度的主动采集的处理方法 - Google Patents
一种基于自定义任务调度的主动采集的处理方法 Download PDFInfo
- Publication number
- CN102750182A CN102750182A CN2012101918971A CN201210191897A CN102750182A CN 102750182 A CN102750182 A CN 102750182A CN 2012101918971 A CN2012101918971 A CN 2012101918971A CN 201210191897 A CN201210191897 A CN 201210191897A CN 102750182 A CN102750182 A CN 102750182A
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- task scheduling
- collection
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于自定义任务调度的主动采集的处理方法,包括以下步骤:检索规则配置库、明确采集时限和采集对象、连接采集源、采集相应数据、数据是否存在、转换成原始数据和存入异常数据库。通过上述方式,本发明提供的基于自定义任务调度的主动采集的处理方法,为综合展示提供相关数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。
Description
技术领域
本发明涉及基于自定义任务调度的领域,特别是涉及一种基于自定义任务调度的主动采集的处理方法。
背景技术
目前,信息化建设正以前所未有的速度发展,各种各样的数据急剧膨胀。随着Web技术的不断发展,信息共享和数据交换的范围不断扩大,传统的关系数据库也面临着挑战,各种不同的数据库管理系统之间的数据需要进行任务调度,使其能够应用于数据采集环节中。
发明内容
本发明主要解决的技术问题是提供一种基于自定义任务调度的主动采集的处理方法,由系统自动运行,无需手工业务操作,为综合展示提供相关数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于自定义任务调度的主动采集的处理方法,包括以下步骤:
a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;
b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信息;
c、连接采集源,输入上述的采集规则信息,输出采集源信息;
d、采集相应数据,输入上述的采集源信息,输出采集数据;
e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据;
f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出;
g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。
在本发明一个较佳实施例中,所述的规则配置库定义的采集内容包括采集类型和采集时限。
在本发明一个较佳实施例中,所述的原始数据为系统所采集或接收到的未经任何处理的数据
本发明的有益效果是:本发明的基于自定义任务调度的主动采集的处理方法,按照规则配置库所定义的采集内容,主动获取机房综合环境相关的原始数据,为数据处理提供基础数据,由系统自动运行,无需手工业务操作,为综合展示提供相关数数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。
附图说明
图1是本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1,为本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图,该基于自定义任务调度的主动采集的处理方法,包括以下步骤:
a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;
b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信息;
c、连接采集源,输入上述的采集规则信息,输出采集源信息;
d、采集相应数据,输入上述的采集源信息,输出采集数据;
e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据;
f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出;
g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。
上述中的,规则配置库定义的采集内容包括采集类型和采集时限;原始数据为系统所采集或接收到的未经任何处理的数据
本发明中的 “自定义”指NGDP的相关数据采集任务可以由用户自行设定其频率、状态等参数;“任务”指系统中采集或接收数据的动作;“调度”指系统中相关动作执行的安排。
本发明中自定义任务调度的研发环境:Java jdk 1.7 + eclipse 3.7;服务器:操作系统CentOS 6.0 Linux,CPU Intel(R) Xeon(R) E5620 2.40GHz,内存4GB,硬盘500GB;客户端:Windows 7专业版操作系统。
本发明揭示的基于自定义任务调度的主动采集的处理方法,按照规则配置库所定义的采集内容,主动获取机房综合环境相关的原始数据,为数据处理提供基础数据,由系统自动运行,无需手工业务操作,为综合展示提供相关数数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种基于自定义任务调度的主动采集的处理方法,其特征在于,包括以下步骤:
a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;
b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信息;
c、连接采集源,输入上述的采集规则信息,输出采集源信息;
d、采集相应数据,输入上述的采集源信息,输出采集数据;
e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据;
f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出;
g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。
2.根据权利要求1所述的基于自定义任务调度的主动采集的处理方法,其特征在于,所述的规则配置库定义的采集内容包括采集类型和采集时限。
3.根据权利要求1所述的基于自定义任务调度的主动采集的处理方法,其特征在于,所述的原始数据为系统所采集或接收到的未经任何处理的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012101918971A CN102750182A (zh) | 2012-06-12 | 2012-06-12 | 一种基于自定义任务调度的主动采集的处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012101918971A CN102750182A (zh) | 2012-06-12 | 2012-06-12 | 一种基于自定义任务调度的主动采集的处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102750182A true CN102750182A (zh) | 2012-10-24 |
Family
ID=47030401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101918971A Pending CN102750182A (zh) | 2012-06-12 | 2012-06-12 | 一种基于自定义任务调度的主动采集的处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102750182A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504513A (zh) * | 2014-12-17 | 2015-04-08 | 昆明能讯科技有限责任公司 | 一种基于配置库的电网线路设备快速采集方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050165983A1 (en) * | 2004-01-26 | 2005-07-28 | Samsung Electronics Co., Ltd. | System and method for processing data in kernel area by a user command |
JP2006515690A (ja) * | 2001-12-14 | 2006-06-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数のプロセッサを有するデータ処理システムと、複数のプロセッサを有するデータ処理システムのためのタスクスケジューラと、タスクスケジューリングの対応する方法 |
CN102209118A (zh) * | 2011-06-10 | 2011-10-05 | 成都勤智数码科技有限公司 | 一种分布式海量数据汇聚方法 |
-
2012
- 2012-06-12 CN CN2012101918971A patent/CN102750182A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006515690A (ja) * | 2001-12-14 | 2006-06-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数のプロセッサを有するデータ処理システムと、複数のプロセッサを有するデータ処理システムのためのタスクスケジューラと、タスクスケジューリングの対応する方法 |
US20050165983A1 (en) * | 2004-01-26 | 2005-07-28 | Samsung Electronics Co., Ltd. | System and method for processing data in kernel area by a user command |
CN102209118A (zh) * | 2011-06-10 | 2011-10-05 | 成都勤智数码科技有限公司 | 一种分布式海量数据汇聚方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504513A (zh) * | 2014-12-17 | 2015-04-08 | 昆明能讯科技有限责任公司 | 一种基于配置库的电网线路设备快速采集方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275898B (zh) | 使用基于知识图的解释性设备管理的集成监控与通信系统 | |
US10275278B2 (en) | Stream processing task deployment using precompiled libraries | |
US11663257B2 (en) | Design-time information based on run-time artifacts in transient cloud-based distributed computing clusters | |
Alfian et al. | Real-time monitoring system using smartphone-based sensors and nosql database for perishable supply chain | |
US8607018B2 (en) | Memory usage configuration based on observations | |
Sahal et al. | Industry 4.0 towards Forestry 4.0: Fire detection use case | |
US10061858B2 (en) | Method and apparatus for processing exploding data stream | |
CN105550268A (zh) | 大数据流程建模分析引擎 | |
CN102521232B (zh) | 一种互联网元数据的分布式采集处理系统及方法 | |
US20160253172A1 (en) | Indicating a trait of a continuous delivery pipeline | |
US10567557B2 (en) | Automatically adjusting timestamps from remote systems based on time zone differences | |
Pimentel et al. | Yin & Yang: demonstrating complementary provenance from noWorkflow & YesWorkflow | |
US9471362B2 (en) | Correlating hypervisor data for a virtual machine with associated operating system data | |
CN103927314A (zh) | 一种数据批量处理的方法和装置 | |
US8417688B2 (en) | Converting two-tier resource mapping to one-tier resource mapping | |
CN111046000B (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
CN105677763A (zh) | 一种基于Hadoop的图像质量评估系统 | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
Kammerer et al. | Process-driven and flow-based processing of industrial sensor data | |
Hongqian et al. | Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms | |
Alonso et al. | CloudOps: Towards the operationalization of the cloud continuum: Concepts, challenges and a reference framework | |
Kang et al. | Real-time information derivation from big sensor data via edge computing | |
Zhang et al. | Application of workflow technology for big data analysis service | |
Agostinho et al. | Dynamic adaptors to support model-driven interoperability and enhance sensing enterprise networks | |
CN102750182A (zh) | 一种基于自定义任务调度的主动采集的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |