CN104202216A - 一种网络采集异常警告自动化处理的方法 - Google Patents
一种网络采集异常警告自动化处理的方法 Download PDFInfo
- Publication number
- CN104202216A CN104202216A CN201410459981.6A CN201410459981A CN104202216A CN 104202216 A CN104202216 A CN 104202216A CN 201410459981 A CN201410459981 A CN 201410459981A CN 104202216 A CN104202216 A CN 104202216A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- server
- abnormality
- abnormity
- abnormality processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 230000005856 abnormality Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种网络采集异常警告自动化处理的方法，基于互联网分布式采集发生异常时，记录异常并对异常进行自动化处理，这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
Description
技术领域
本发明涉及互联网采集，分布式，web通信，异常处理技术领域, 具体地说是一种网络采集异常警告自动化处理的方法。
背景技术
在对互联网进行信息采集时，可能会面临的问题：
1. 网络异常，包括网络不稳定，网络延迟高等等；
2. 定义的采集标准与目标网站有出入，导致采集程序发生异常；
3. 采集程序不稳定导致异常；
4. 目标网站本身的结构异常；
5. 各个采集程序之间通信异常。
一旦发生上述的问题，都有可能导致信息采集过程的中止或者数据格式的异常，对于这些问题，需要一种可以及时监控并且管理采集的技术，在采集过程正常进行时，可以搜集采集过程的各项参数，比如CPU使用率，内存使用率等；在采集完成时，可以报告本次采集的情况；而一旦采集过程出现了上述问题中的一种，那么需要记录这个异常情况，并且自动采取适当的处理方式，使采集过程转为正常。本技术正是定向于解决这类问题的。
发明内容
本发明的目的是提供一种网络采集异常警告自动化处理的方法。
本发明的目的是按以下方式实现的，包括异常处理平台搭建和异常警告自动化处理，其中异常处理平台搭建步骤如下：
1）根据目前主流的分布式系统，给用户提供不同的通信接口；
2）搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅；
3）将异常记录做接口，方便用户查询跟服务器运行情况；
异常警告自动化处理步骤如下：
1）根据需求定义异常标准，各种异常的标识符和异常处理方式；
2）根据定义的异常标准，设计监控程序和异常处理程序；
3）监控程序负责任务的监控工作，一旦发现发生异常，发送异常标示符给异常处理服务器；
4）异常处理服务器接收到异常标示符后，根据设计的异常处理程序，进行适当处理，将异常信息备案，并发送给主服务器；
5）主服务器根据异常处理服务器反馈的信息，采取适当措施，停止对应异常服务器的任务，然后根据异常的严重程序，或者自动重启任务，或者自动发送邮件给相关人员，由相关人员进行处理。
本发明的优异效果：这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
附图说明
图1是本发明的流程结构图。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
本发明的目的是基于互联网分布式采集发生异常时，记录异常并对异常进行自动化处理的技术。这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
由于各个用户使用的分布式采集系统在结构上存在差异，对异常的自动化处理造成了一些困难。因此我们给用户提供了几种不同的接口，方便客户根据其采集系统，搭建本异常处理平台。 分以下三步搭建该平台：
第一步，根据目前主流的分布式系统，给用户提供不同的通信接口；
第二步，搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅；
第三步，将异常记录做接口，方便用户查询跟服务器运行情况。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种网络采集异常警告自动化处理的方法, 其特征在于包括异常处理平台搭建和异常警告自动化处理，其中异常处理平台搭建步骤如下：
1）根据目前主流的分布式系统，给用户提供不同的通信接口；
2）搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅；
3）将异常记录做接口，方便用户查询跟服务器运行情况；
异常警告自动化处理步骤如下：
1）根据需求定义异常标准，各种异常的标识符和异常处理方式；
2）根据定义的异常标准，设计监控程序和异常处理程序；
3）监控程序负责任务的监控工作，一旦发现发生异常，发送异常标示符给异常处理服务器；
4）异常处理服务器接收到异常标示符后，根据设计的异常处理程序，进行适当处理，将异常信息备案，并发送给主服务器；
5）主服务器根据异常处理服务器反馈的信息，采取适当措施，停止对应异常服务器的任务，然后根据异常的严重程序，或者自动重启任务，或者自动发送邮件给相关人员，由相关人员进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410459981.6A CN104202216A (zh) | 2014-09-11 | 2014-09-11 | 一种网络采集异常警告自动化处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410459981.6A CN104202216A (zh) | 2014-09-11 | 2014-09-11 | 一种网络采集异常警告自动化处理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104202216A true CN104202216A (zh) | 2014-12-10 |
Family
ID=52087446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410459981.6A Pending CN104202216A (zh) | 2014-09-11 | 2014-09-11 | 一种网络采集异常警告自动化处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104202216A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342880A (zh) * | 2016-04-29 | 2017-11-10 | 中兴通讯股份有限公司 | 异常信息采集方法及系统 |
| CN109669402A (zh) * | 2018-09-25 | 2019-04-23 | 平安普惠企业管理有限公司 | 异常监控方法、设备、装置及计算机可读存储介质 |
| CN111461770A (zh) * | 2020-03-23 | 2020-07-28 | 汇通达网络股份有限公司 | 一种基于模型的用户画像系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101075919A (zh) * | 2006-06-22 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 一种互联网业务的监控系统和监控方法 |
| EP2518939A1 (en) * | 2010-07-20 | 2012-10-31 | ZTE Corporation | Data acquisition method in network resource estimation and system thereof |
-
2014
- 2014-09-11 CN CN201410459981.6A patent/CN104202216A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101075919A (zh) * | 2006-06-22 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 一种互联网业务的监控系统和监控方法 |
| EP2518939A1 (en) * | 2010-07-20 | 2012-10-31 | ZTE Corporation | Data acquisition method in network resource estimation and system thereof |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342880A (zh) * | 2016-04-29 | 2017-11-10 | 中兴通讯股份有限公司 | 异常信息采集方法及系统 |
| CN107342880B (zh) * | 2016-04-29 | 2021-06-08 | 中兴通讯股份有限公司 | 异常信息采集方法及系统 |
| CN109669402A (zh) * | 2018-09-25 | 2019-04-23 | 平安普惠企业管理有限公司 | 异常监控方法、设备、装置及计算机可读存储介质 |
| CN109669402B (zh) * | 2018-09-25 | 2022-08-19 | 平安普惠企业管理有限公司 | 异常监控方法、设备、装置及计算机可读存储介质 |
| CN111461770A (zh) * | 2020-03-23 | 2020-07-28 | 汇通达网络股份有限公司 | 一种基于模型的用户画像系统 |
| CN111461770B (zh) * | 2020-03-23 | 2023-06-02 | 汇通达网络股份有限公司 | 一种基于模型的用户画像系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113112086B (zh) | 一种基于边缘计算和标识解析的智能生产系统 | |
| US10764255B2 (en) | Secure command execution from a cloud monitoring system to a remote cloud agent | |
| EP2924575B1 (en) | Cloud-based global alarm annunciation system for industrial systems | |
| CN112073265B (zh) | 一种基于分布式边缘计算的物联网监控方法和系统 | |
| US10208947B2 (en) | Cloud-level analytics for boiler networks | |
| CN109547240B (zh) | 基于边缘计算的智能设备以及接入与设备的解析方法 | |
| US10503155B2 (en) | Method for controlling a process plant using a redundant local supervisory controller | |
| DE102014103353A1 (de) | Sammeln und Bereitstellen von Daten an eine Big-Data-Maschine in einem Prozesssteuerungssystem | |
| CN103200050A (zh) | 服务器的硬件状态监控方法和系统 | |
| CN107888441A (zh) | 一种网络流量基线自学习自适应方法 | |
| CN104202216A (zh) | 一种网络采集异常警告自动化处理的方法 | |
| JP2014238833A (ja) | プロセスアラーム削減のためのシステムおよび方法 | |
| CN110502719A (zh) | 边缘计算模型管理系统及方法 | |
| CN102083091A (zh) | 网管告警管理方法和系统以及告警采集服务器 | |
| CN104320285A (zh) | 一种网站运行状态监控方法及装置 | |
| CN103701657A (zh) | 用于不间断运行的数据处理系统的异常监控及处理装置和方法 | |
| CN112636960B (zh) | 一种边缘计算设备内网协同维护方法、系统、装置、服务器及其存储介质 | |
| CN105607606A (zh) | 一种基于双主板架构的数据采集装置及方法 | |
| US20160349726A1 (en) | Apparatus and method for variable data collection of intelligent loop performance monitoring system in bandwidth-constrained dcs | |
| JP6294145B2 (ja) | 監視方法、監視装置および監視制御プログラム | |
| CN103558819A (zh) | 一种切片机故障诊断系统 | |
| CN109446036A (zh) | 一种通过网页进行远程运维的方法 | |
| CN107612755A (zh) | 一种云资源的管理方法及其装置 | |
| US8301273B2 (en) | Method for providing functions in an industrial automation system, control program and industrial automation system | |
| CN105376091A (zh) | 一种服务器下线系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141210 |