CN111769982A - 一种基于超时因子的大规模网络数据采集方法及装置 - Google Patents

一种基于超时因子的大规模网络数据采集方法及装置 Download PDF

Info

Publication number
CN111769982A
CN111769982A CN202010571307.2A CN202010571307A CN111769982A CN 111769982 A CN111769982 A CN 111769982A CN 202010571307 A CN202010571307 A CN 202010571307A CN 111769982 A CN111769982 A CN 111769982A
Authority
CN
China
Prior art keywords
acquisition
factor
timeout
task
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010571307.2A
Other languages
English (en)
Other versions
CN111769982B (zh
Inventor
袁守正
吴舸
曹征
丁富强
张明华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ideal Information Industry Group Co Ltd
Original Assignee
Shanghai Ideal Information Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ideal Information Industry Group Co Ltd filed Critical Shanghai Ideal Information Industry Group Co Ltd
Priority to CN202010571307.2A priority Critical patent/CN111769982B/zh
Publication of CN111769982A publication Critical patent/CN111769982A/zh
Application granted granted Critical
Publication of CN111769982B publication Critical patent/CN111769982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/052—Network management architectures or arrangements using standardised network management architectures, e.g. telecommunication management network [TMN] or unified network management architecture [UNMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation

Abstract

本发明公开了一种基于超时因子的大规模网络数据采集方法及装置，该方法包括：S1，定时调度模块加载采集任务信息；S2，为超时因子不为0的设备生成采集任务并加入采集任务队列；S3，并行数据采集模块获取并执行采集任务，设置采集超时时间；S4，判断采集任务是否成功执行，若成功则执行S5，失败则执行S7；S5，将采集的数据加入数据队列；S6，并行数据处理模块从队列中获取并处理数据；S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；S8，超时因子控制模块以固定频率探测超时因子为0的设备，若恢复上线，则调整设备超时因子为最大值；S9，监听系统是否关闭，若未关闭则执行S1，否则释放资源。

Description

一种基于超时因子的大规模网络数据采集方法及装置
技术领域
本发明涉及网络监控技术领域，特别是涉及一种基于超时因子的大规模网络数据采集方法及装置。
背景技术
中国电信网管专家服务是一项与中国电信大网网络监控中心联接，为客户提供一站式的涵盖线路和网络设备的远程监控管理服务。网管专家系统可以统一第三方平台、自主平台、二层网络自服务监控平台、七层流量监控、机房管家、ITSM平台等多平台的数据、客户和配置信息，提升了对客户需求的响应速度，增加了客户的感知度。
然而，现有技术的网管专家服务监控的设备数量大，如何在极短时间内(最小采集频率为10秒)完成大量设备的数据采集和处理工作是目前系统面临的一大难题。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于超时因子的大规模网络数据采集方法及装置，赋予系统面对大规模数据采集得自适应能力，避免出现数据采集任务堆积得情况，有效提高数据采集效率及平台的整体监控灵敏度。
为达上述目的，本发明提出一种基于超时因子的大规模网络数据采集方法，包括如下步骤：
步骤S1，定时调度模块从数据库中加载采集任务信息；
步骤S2，定时调度模块为超时因子不等于0的设备生成采集任务，并加入采集任务队列；
步骤S3，并行数据采集模块从采集任务队列中获取并执行采集任务，根据超时因子设置采集超时时间；
步骤S4，判断采集任务是否成功执行，若成功执行则进入步骤S5执行步骤S5，若失败则进入步骤S7执行步骤S7；
步骤S5，将采集的数据加入数据队列；
步骤S6，并行数据处理模块从所述数据队列中获取并处理数据，存储到数据库中；
步骤S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；
步骤S8，超时因子控制模块以固定频率探测超时因子为0的设备，如果设备恢复上线，则调整该设备的超时因子为最大值；
步骤S9，监听系统是否关闭，如果未关闭则执行步骤S1，否则释放资源。
优选地，所述采集任务信息包括但不限于任务ID、任务名称、数据类型、任务类别、调度规则。
优选地，步骤S2进一步包括：
步骤S200，所述定时调度模块从数据库中检索需要执行该任务且超时因子不等于0的所有网元信息；
步骤S201，为每个需要执行作业的网元生成采集任务；
步骤S202，将单个网元的采集任务加入采集任务队列中；
优选地，所述采集任务信息包括但不限于任务类型、根网元ID、客户ID、绑定服务的网元ID、绑定服务的网元基本信息、绑定的服务项信息、执行该任务的驱动类全称以及采集协议类型。
优选地，步骤S3，设置采集超时时间＝超时因子*默认采集超时时间。
优选地，于步骤S4中，若采集任务的执行时间超过采集超时时间，则采集任务失败。
优选地，于步骤S7中，每次采集任务失败时调整所述超时设备信息表中该设备的超时因子，采用如下调整公式：
新的超时因子＝原超时因子-固定值。
为达到上述目的，本发明还提供一种大规模网络监控数据的采集装置，包括：
定时调度模块，用于从数据库中加载采集任务信息，为超时因子不等于0的设备生成采集任务并加入采集任务队列；
并行数据采集模块，从所述采集任务队列中获取采集任务，根据超时因子设置采集超时时间，执行采集任务，并将采集的数据发送到数据队列，调整采集任务失败的设备的超时因子，调整公式为：新的超时因子＝原超时因子-固定值，超时因子最小值为0；
并行数据处理模块，用于从所述数据队列中获取数据，并进行数据归并、计算等处理后存储到数据库中；
超时因子控制模块，用于从数据库中读取超时因子为0的设备并探测是否已恢复上线，对于已恢复的设备，设置其超时因子为最大值。
优选地，所述并行数据采集模块根据超时因子设置采集超时时间＝超时因子*默认的采集超时时间。
优选地，所述并行数据采集模块利用如下调整公式调整采集任务失败的设备的超时因子：新的超时因子＝原超时因子-固定值。
与现有技术相比，本发明一种基于超时因子的大规模网络数据采集方法及装置引入超时因子，根据采集任务的失败次数调整超时因子，赋予了系统面对大规模数据采集的自适应能力，避免了采集失败(目标设备离线、线路断线等原因)造成的采集任务堆积的情况，有效地提高了数据采集效率及系统的整体监控灵敏度。
附图说明
图1为本发明一种基于超时因子的大规模网络数据采集方法的步骤流程图；
图2为本发明一种基于超时因子的大规模网络数据采集装置的系统架构图；
图3为本发明实施例之基于超时因子的大规模网络数据采集方法的流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于超时因子的大规模网络数据采集方法的步骤流程图。如图1所示，本发明一种基于超时因子的大规模网络数据采集方法，包括如下步骤：
步骤S1，定时调度模块从数据库中加载采集任务信息。
在本发明具体实施例中，采用JAVA虚拟机作为基础运行环境，利用JAVA虚拟机启动定时调度模块。所述采集任务信息包括但不限于任务ID、任务名称、数据类型、任务类别、调度规则，所述调度规则可以按照秒、分钟、小时、天、月、年为时间单位进行设置。
步骤S2，对于超时因子不等于0的设备生成采集任务，并加入采集任务队列。
具体地，步骤S2进一步包括：
步骤S200，所述定时调度模块从数据库中检索需要执行采集任务且超时因子不等于0的所有网元信息；
步骤S201，为每个需要执行作业的网元生成采集任务；
步骤S202，将单个网元的采集任务加入采集任务队列中；
所述采集任务信息包括但不限于任务类型、根网元ID、客户ID、绑定服务的网元ID、绑定服务的网元基本信息、绑定的服务项信息、执行该任务的驱动类全称以及采集协议类型。
步骤S3，并行数据采集模块的线程池从采集任务队列中获取并执行采集任务，根据超时因子设置采集超时时间。
在本发明具体实施例中，目标设备采集超时时间＝超时因子*默认的采集超时时间。
步骤S4，判断采集任务是否成功执行，如果成功执行则执行步骤S5，如果采集任务的执行时间超过采集超时时间，则采集任务失败，执行S7。
步骤S5，将采集的数据加入数据队列；
步骤S6，并行数据处理模块从数据队列中获取并处理数据，存储到数据库中；
步骤S7，并行数据采集模块更新超时设备信息表中该设备的超时因子，所述超时设备信息表存储于数据库中，并且所述超时设备信息表中存储了各设备及其对应的超时因子的关系。
本发明具体实施例中，超时因子调整公式为：新的超时因子＝原超时因子–0.35，超时因子最小值为0，最大值为1(初始值)。
步骤S8，超时因子控制模块以固定频率探测超时因子为0的设备，如果设备恢复上线，则调整该设备的超时因子为最大值。具体地，超时因子控制模块定期从数据库中读取超时因子为0的设备并探测是否已恢复上线，对于已恢复的设备，设置其超时因子为最大值。
步骤S9，监听系统是否关闭，如果未关闭则执行步骤S1，否则释放资源。
具体地，步骤S9进一步包括：
步骤S900，如果系统关闭，则释放资源；
步骤S901，如果系统未关闭，则执行步骤S1。
图2为本发明一种基于超时因子的大规模网络数据采集装置的系统架构图。如图2所示，本发明一种基于超时因子的大规模网络数据采集装置，包括：
定时调度模块201，用于从数据库中加载采集任务信息，为超时因子不等于0的设备生成采集任务并加入采集任务队列；
并行数据采集模块202，从采集任务队列中获取采集任务，设置采集超时时间＝超时因子*默认的采集超时时间，执行采集任务，并将采集的数据发送到数据队列，调整采集任务失败的设备的超时因子，在本发明具体实施例中，其调整公式为：新的超时因子＝原超时因子-固定值，超时因子最小值为0；
并行数据处理模块203，用于从所述数据队列中获取数据，并进行数据归并、计算等处理后存储到数据库中；
超时因子控制模块204，用于定期从数据库中读取超时因子为0的设备并探测是否已恢复上线，对于已恢复的设备，设置其超时因子为最大值。
实施例
如图3所示，为本发明方法的一个实施例，在本实施例中，所述监控数据采集方法应用于中国电信网管专家服务平台，其采用本发明之基于超时因子的大规模网络数据采集方法在采集频率为10秒的情况下采集14000台设备的ICMP数据信息。具体步骤如下：
步骤1，使用JAVA虚拟机启动定时调度类com.ideal.netcare.v6.dcs.service.scheduler.JobScheduler的实例jobScheduler。
步骤2，jobScheduler从数据库中读取ICMP数据类型的采集信息。
步骤3，jobScheduler根据调度规则(每10秒采集一次)定期执行ICMP采集任务。
步骤4，jobScheduler从数据库中检索需要执行该采集任务的所有网元信息，同时检索超时设备信息表，为每个超时因子不等于0的网元生成ICMP采集任务，加入采集任务队列。
步骤5，并行数据采集类com.ideal.netcare.v6.dcs.service.data.DataCollector的实例dataCollector根据任务信息中的采集驱动名称com.ideal.netcare.v6.dcs.service.driver.internal.IcmpDriver获取采集驱动实例icmpDriver。
步骤6，采集驱动实例icmpDriver根据任务类型执行discovery或schedule方法获取设备属性信息或动态ICMP监控数据，根据超时设备信息表failedDevice中的超时因子设置采集超时时间＝超时因子*默认的采集超时时间，采集成功后将采集到的数据发送给数据队列；若采集失败，则将失败的信息更新到超时设备信息表中，更新规则为：新的超时因子＝原超时因子-0.35；当计算值小于0时，设置为0。。
步骤7，并行数据处理类com.ideal.netcare.v6.dcs.service.data.DataProcessor的实例dataProcessor从数据队列中获取数据并进行归并、计算处理后存储到数据库中。
步骤8，超时因子控制类com.ideal.netcare.v6.dcs.service.controller.MonitorController的实例monitorController定时检测超时因子为0的设备，当设备恢复上线时，设置该设备的超时因子为1。
步骤9，监听系统是否关闭，若系统关闭，则释放资源；若系统未关闭，则执行步骤2。
综上所述，本发明一种基于超时因子的大规模网络数据采集方法及装置引入超时因子，根据采集任务的失败次数调整超时因子，赋予了系统面对大规模数据采集的自适应能力，避免了采集失败(目标设备离线、线路断线等原因)造成的采集任务堆积的情况，有效地提高了数据采集效率及系统的整体监控灵敏度。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于超时因子的大规模网络数据采集方法，包括如下步骤：
步骤S1，定时调度模块从数据库中加载采集任务信息；
步骤S2，定时调度模块为超时因子不等于0的设备生成采集任务，并加入采集任务队列；
步骤S3，并行数据采集模块从采集任务队列中获取并执行采集任务，根据超时因子设置采集超时时间；
步骤S4，判断采集任务是否成功执行，若成功执行则进入步骤S5执行步骤S5，若失败则进入步骤S7执行步骤S7；
步骤S5，将采集的数据加入数据队列；
步骤S6，并行数据处理模块从所述数据队列中获取并处理数据，存储到数据库中；
步骤S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；
步骤S8，超时因子控制模块以固定频率探测超时因子为0的设备，如果设备恢复上线，则调整该设备的超时因子为最大值；
步骤S9，监听系统是否关闭，如果未关闭则执行步骤S1，否则释放资源。
2.如权利要求1所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：所述采集任务信息包括但不限于任务ID、任务名称、数据类型、任务类别、调度规则。
3.如权利要求2所述的一种基于超时因子的大规模网络数据采集方法，其特征在于，步骤S2进一步包括：
步骤S200，所述定时调度模块从数据库中检索需要执行该任务且超时因子不等于0的所有网元信息；
步骤S201，为每个需要执行作业的网元生成采集任务；
步骤S202，将单个网元的采集任务加入采集任务队列中；
4.如权利要求3所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：所述采集任务信息包括但不限于任务类型、根网元ID、客户ID、绑定服务的网元ID、绑定服务的网元基本信息、绑定的服务项信息、执行该任务的驱动类全称以及采集协议类型。
5.如权利要求4所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：步骤S3，设置采集超时时间＝超时因子*默认采集超时时间。
6.如权利要求4所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：于步骤S4中，若采集任务的执行时间超过采集超时时间，则采集任务失败。
7.如权利要求6所述的一种基于超时因子的大规模网络数据采集方法，其特征在于，于步骤S7中，每次采集任务失败时调整所述超时设备信息表中该设备的超时因子，采用如下调整公式：
新的超时因子＝原超时因子-固定值。
8.一种大规模网络监控数据的采集装置，包括：
定时调度模块，用于从数据库中加载采集任务信息，为超时因子不等于0的设备生成采集任务并加入采集任务队列；
并行数据采集模块，从所述采集任务队列中获取采集任务，根据超时因子设置采集超时时间，执行采集任务，并将采集的数据发送到数据队列，调整采集任务失败的设备的超时因子，调整公式为：新的超时因子＝原超时因子-固定值，超时因子最小值为0；
并行数据处理模块，用于从所述数据队列中获取数据，并进行数据归并、计算等处理后存储到数据库中；
超时因子控制模块，用于从数据库中读取超时因子为0的设备并探测是否已恢复上线，对于已恢复的设备，设置其超时因子为最大值。
9.如权利要求8所述的一种大规模网络监控数据的采集装置，其特征在于：所述并行数据采集模块根据超时因子设置采集超时时间＝超时因子*默认的采集超时时间。
10.如权利要求8所述的一种大规模网络监控数据的采集装置，其特征在于，所述并行数据采集模块利用如下调整公式调整采集任务失败的设备的超时因子：新的超时因子＝原超时因子-固定值。
CN202010571307.2A 2020-06-22 2020-06-22 一种基于超时因子的大规模网络数据采集方法及装置 Active CN111769982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010571307.2A CN111769982B (zh) 2020-06-22 2020-06-22 一种基于超时因子的大规模网络数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010571307.2A CN111769982B (zh) 2020-06-22 2020-06-22 一种基于超时因子的大规模网络数据采集方法及装置

Publications (2)

Publication Number Publication Date
CN111769982A true CN111769982A (zh) 2020-10-13
CN111769982B CN111769982B (zh) 2023-03-24

Family

ID=72721595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010571307.2A Active CN111769982B (zh) 2020-06-22 2020-06-22 一种基于超时因子的大规模网络数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN111769982B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507208A (zh) * 2020-11-02 2021-03-16 北京迅达云成科技有限公司 一种基于大数据的网络数据采集系统
CN113114508A (zh) * 2021-04-15 2021-07-13 上海理想信息产业（集团）有限公司 一种多级可变频率的网络监控数据采集方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090823A (zh) * 2014-06-09 2014-10-08 中国建设银行股份有限公司 一种用于计算机系统的流量控制方法和装置
US8966487B1 (en) * 2012-10-16 2015-02-24 Sprint Communications Company L.P. Application transaction wait time dynamic adjustment
US9430280B1 (en) * 2013-02-11 2016-08-30 Amazon Technologies, Inc. Task timeouts based on input data characteristics
CN108881477A (zh) * 2018-07-16 2018-11-23 上海新炬网络技术有限公司 一种基于分布式的文件采集监控的方法
CN110874265A (zh) * 2019-11-15 2020-03-10 厦门物通博联网络科技有限公司 一种快速采集数据方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8966487B1 (en) * 2012-10-16 2015-02-24 Sprint Communications Company L.P. Application transaction wait time dynamic adjustment
US9430280B1 (en) * 2013-02-11 2016-08-30 Amazon Technologies, Inc. Task timeouts based on input data characteristics
CN104090823A (zh) * 2014-06-09 2014-10-08 中国建设银行股份有限公司 一种用于计算机系统的流量控制方法和装置
CN108881477A (zh) * 2018-07-16 2018-11-23 上海新炬网络技术有限公司 一种基于分布式的文件采集监控的方法
CN110874265A (zh) * 2019-11-15 2020-03-10 厦门物通博联网络科技有限公司 一种快速采集数据方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507208A (zh) * 2020-11-02 2021-03-16 北京迅达云成科技有限公司 一种基于大数据的网络数据采集系统
CN112507208B (zh) * 2020-11-02 2021-07-20 北京迅达云成科技有限公司 一种基于大数据的网络数据采集系统
CN113114508A (zh) * 2021-04-15 2021-07-13 上海理想信息产业（集团）有限公司 一种多级可变频率的网络监控数据采集方法及装置

Also Published As

Publication number Publication date
CN111769982B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111769982B (zh) 一种基于超时因子的大规模网络数据采集方法及装置
US9122595B2 (en) Fault tolerance for complex distributed computing operations
US9189317B1 (en) Software sustaining system
US8245077B2 (en) Failover method and computer system
US20070038885A1 (en) Method for operating an arrangement of a plurality of computers in the event of a computer failure
US10924538B2 (en) Systems and methods of monitoring software application processes
US20080275973A1 (en) Dynamic cli mapping for clustered software entities
CN110134518A (zh) 一种提高大数据集群多节点应用高可用性的方法及系统
JP5198154B2 (ja) 障害監視システム及びデバイスと監視装置並びに障害監視方法
KR20160100399A (ko) 지능형 단말기의 하드웨어가 비정상적으로 작동하는지 여부를 검사하는 방법 및 지능형 단말기
CN109274531A (zh) 数据采集设备重启方法、系统及计算机可读存储介质
CN113672345A (zh) 一种基于io预测的云虚拟化引擎分布式资源调度方法
JP6024448B2 (ja) 情報処理プログラム、情報処理方法及び装置
CN115328662A (zh) 一种进程线程资源管理控制方法及系统
CN109639755B (zh) 关联系统服务器解耦方法、装置、介质及电子设备
CN114237510A (zh) 数据处理方法、装置、电子设备及存储介质
US7206975B1 (en) Internal product fault monitoring apparatus and method
CN102221995A (zh) 地震数据处理作业的断点恢复方法
Kitamura et al. Development of a Server Management System Incorporating a Peer-to-Peer Method for Constructing a High-availability Server System
JP2001331330A (ja) プロセス異常検知及び復旧システム
US20070124343A1 (en) Method or apparatus for processing data in a system management application program
CN112104497A (zh) 终端管理方法、装置、系统、服务器、终端及存储介质
CN112256384A (zh) 基于容器技术的服务集合处理方法、装置和计算机设备
US20230418663A1 (en) System and methods for dynamic workload migration and service utilization based on multiple constraints
CN111240857B (zh) 一种远程服务调用系统及调用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant