CN104320446A - 分布式多Agent的网站监控方法和系统 - Google Patents

分布式多Agent的网站监控方法和系统 Download PDF

Info

Publication number
CN104320446A
CN104320446A CN201410541911.5A CN201410541911A CN104320446A CN 104320446 A CN104320446 A CN 104320446A CN 201410541911 A CN201410541911 A CN 201410541911A CN 104320446 A CN104320446 A CN 104320446A
Authority
CN
China
Prior art keywords
agent
monitoring
website
surveillance center
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410541911.5A
Other languages
English (en)
Inventor
梁琳
夏正敏
李建华
伍军
夏业超
吴登科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Shanghai Jiaotong University
Original Assignee
SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd, Shanghai Jiaotong University filed Critical SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201410541911.5A priority Critical patent/CN104320446A/zh
Publication of CN104320446A publication Critical patent/CN104320446A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

一种分布式多Agent的网站监控系统，包括：划分的网络、监控Agent和监控中心；方法包括步骤根据网络供应商和地域将互联网划分成单位区域，依据各个区域的网络大小和结构部署一个或多个监控Agent。各监控Agent用来监控所需监控的目标网站，并定期向监控中心汇报目标网站运行状态；监控中心对监控Agent上报的评估数据和告警事件作出反应。本发明用于监控网站运行状况，确保每个网络供应商都可以访问目标网站，提高网站的运营能力，降低监控成本。

Description

分布式多Agent的网站监控方法和系统
技术领域：
本发明涉及网络技术和网络安全领域，特别涉及一种分布式多Agent网站服务监控系统和方法。 
背景技术：
随着信息化的不断发展，越来越多的组织和个人通过网络进行信息交流、购物等。网络服务器能否对外提供正常的服务对许多组织越来越重要，特别是电商和大型政府组织和机构的网站能否为所有用户提供正常的服务至关重要。网站的正常服务关系到组织的能力和信誉，是组织能力的象征。 
但是网络中存在各种情况会导致网站无法被用户访问，例如网站机房故障、出口网络中断、DNS中毒等各种情况都会导致用户无法访问网站，给组织带来损失。为了提供网站的可用性，防止网站无法对外提供服务，能够让网络管理员迅速响应，对现有文件检索发现，当前主要有两种对网站进行可用性监控的方案，这两种方案分别从内部和外部对网站服务的可用性进行预警，确保网络处于正常服务的状态下，但是存在缺点。 
1)中国专利申请号200710102466.2，名称为“一种用于网站故障报警的系统及方法”通过检测网站中监控点处的故障井生成报警消息、将所述报警消息转换为短消息格式、利用调制解调器经无线通信网络向移动终端发送所述转换为短消息格式的报警消息三步完成对网站的监控。 
该专利提供的方案是在机房内部署网络监控装置，该监控装置定时轮询网站服务器/设备/应用程序，从网站的运行状态出发对网站进行监控，保证网站能够正常运行。但是该方案只能监控网站服务器自身的正常运转，如果考虑到网站要被用户访问，还存在许多的脆弱点，例如机房的出口网络、DNS是否正常等外部因素。这些外部因素会导致网站不能被用户访问。 
2)中国专利申请号201310170165.9，名称为“网站实时状态监控方法及系统”提供了一种对网站进行监控的方案，该方案使用了外部网络中的客户端，通 过客户端的请求报文及对应Web服务器端的响应报文生成报文信息并存储，分析所述报文信息以生成实时报表，为维护人员即时提供相关的网站动态信息，从而达到监控网站的目的。 
方案该方案是在外部网络中部署监控软件，对网站进行监控，考虑到了网站的外部因素，从网站的最终功能出发对网站进行监控，保证网站能够被外部用户访问。但是还是存在单点故障弱点。外部网络部署的监控软件只能保证该软件使用的网络提供商所提供的网络与被监视网站之间的畅通，不能保证其他网络提供商的网络与被监视网站之间的网络是否畅通。特别是全地域服务的大型网站，可能在不同的地区和网络中使用DNS动态均衡技术，这种方案不能发现网站的异常。 
发明内容：
本发明目的在于克服上述现有技术的不足，提供一种使用分布式多点的网站监控系统和方法，为全方面监控网站的提供服务，并且能够发现各种网络服务商提供的网络是否能够访问该网站。 
本发明的技术方案具体方法如下。 
一种分布式多Agent的网站监控系统，其特点在于，包括：划分的网络、监控Agent和监控中心； 
所述的划分的网络是指将整个互联网按照地域和网络服务商划分成单位区域，地域划分单位是城市，每个单位区域根据网络大小和结构部署一个或者多个监控Agent； 
所述的监控Agent分布于所划分的单位区域，用来监控所需监控的目标网站，并通过加密信道向监控中心上报所述的目标网站的运行状态； 
所述的监控中心通过加密信道向所述的监控Agent发送任务包，处理监控Agent上报的所述的目标网站的运行状态，并且提供时间同步服务，将所有的监控Agent的时间与监控中心的时间保持同步。 
所述的监控中心包括用户管理接口模块、监控任务计算模块、Agent注册管理模块、网站评估模块、评估算法模块和告警模块； 
所述的用户管理接口模块，用于在监控列表中新增一个网站的域名D、网站的IP地址范围，设置网站服务监控的时间周期参数N，设置重点关注区域是所有二线以上的城市、不关注网络服务提供商，并将设置好的参数传递给所述的监控任务计算模块和所述的Agent注册管理模块； 
所述的监控任务计算模块，通过正常运行的监控Agent的分布参数，计算分配给每个运行的监控Agent的任务包； 
所述的Agent注册管理模块，用于管理监控Agent； 
所述的网站评估模块，用于完成监控内容，评估目标网站的首页关注、全站扫描、登录扫描信息； 
所述的评估算法模块，根据所述监控Agent上传的网站运行状态来实时计算目标网站的健康指数； 
所述的告警模块，用于将所述监控Agent上传的DNS告警内容通过Email通知网站管理员，请网站管理员确认该映射IP是否为该网站新添加的服务IP地址：如果网站管理员确认该IP是新添加的网站IP，监控任务计算模块将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对目标网站健康指数进行复位修正。 
所述的监控Agent能够访问互联网，无需独立公网IP，DNS使用当地网络服务商提供的DNS；所述Agent通过加密网络信道主动访问监控中心，并定期向监控中心上报Agent自身运行状态和所述目标网站的运行状态。 
所述的Agent自身运行状态包括：Agent自身服务是否正常开启；DNS和IP设置；正在执行的任务包数量和每个任务包的标识码。 
一种分布式多Agent网站监控方法，其特点在于，该方法包括以下步骤： 
步骤一、根据网络供应商和地域将互联网划分成单位区域，依据各个区域的网络大小和结构部署一个或多个监控Agent； 
步骤二、用户在监控中心添加需要监控的目标网站域名，并设置相应的监控频率，如果监控中心发现有新的监控Agent加入工作或者某个监控Agent出现异常，监控中心将根据监控Agent情况重新计算任务包，并将该任务包发给活动的监控Agent； 
步骤三、监控Agent通过加密信道主动访问监控中心，并将自身的运行状态定期向监控中心通报，监控中心提供时间同步服务； 
步骤四、监控中心通过分析监控Agent上报的所述Agent自身运行状态数据，对正常运行的监控Agent以网络服务商+DNS+城市分类； 
步骤五、监控中心计算出每个监控Agent的任务包； 
步骤六、监控中心将任务包通过加密的网络信道分发给每个监控Agent； 
步骤七、监控Agent接受到监控中心发来的任务包，根据任务包中网站监控指令执行相关操作，并将采集到目标网站的数据进行分析评估，最后将目标网站的性能参数送回到监控中心，直到该监控Agent收到取消或者修改该监控任务的 新的任务包； 
步骤八、监控中心收集各个监控Agent上报的目标网站的性能参数，并根据这些数据和监控Agent的分布情况，计算目标网站的健康指数，如果网站的健康指数低于预先设置的阈值，告知该网站的运营人员。 
所述的步骤七，监控Agent接收到监控中心的任务包，通过比对HASH摘要，确定任务包的完整性，并根据任务包参数，周期性执行以下操作步骤： 
1)向网络服务商提供的DNS服务器请求该域名的IP； 
2)如果DNS服务器无法响应，将列为告警事件，并立即上报监控中心，跳转步骤6)； 
如果DNS服务器响应，记录DNS服务器响应时间，并将DNS服务器反馈的IP和任务包中的网站IP地址范围进行对比； 
3)如果该IP不在任务包中的IP地址范围中，将列为DNS告警事件，并立即上报监控中心，进入步骤4)； 
如果该IP在任务包中的IP地址范围中，则直接进入步骤4)； 
4)测试该IP提供的HTTP/HTTPS服务是否能够访问； 
如果不能访问，将列为告警事件，并立即上报监控中心，跳转步骤6)； 
如果该IP提供的HTTP/HTTPS服务能够访问，根据监控内容对该IP的网络服务进行深度不同的扫描评估； 
5)扫描评估结束后，将评估的相关参数上报监控中心； 
6)清空DNS缓存，本周期结束。 
所述的用户在所述监控中心监控列表中新增一个网站的域名D，网站的IP地址范围，并设置网站服务监控的时间周期参数N，单位是分钟/周期；监控的时间范围是T，单位可以是小时、天、月和年等；设置重点关注区域是所有二线以上的城市，不关注网络服务提供商。 
所述的任务包包括如下参数：域名、该域名对应的IP范围、动作、监控内容、操作启动时间、时间周期、偏移时间、执行任务的总时间、无法访问该域名时采用的策略、附加参数表，任务包的HASH摘要。 
将每个监控Agent的执行时间进行等量偏移，偏移参数是N*60/(M+P*C)秒，其中，N是时间周期参数，M是运行的Agent数量，C是重点关注地区个数，P是关注度。 
每个监控Agent的时间周期根据包括监控内容、Agent所在的城市、用户的关注度进行调整，监控内容包括首页关注、全站扫描、登录扫描。 
所述的健康指数包括DNS健康度、网站首页健康度、除首页外其他页面的健康 度、图片访问的健康度、死链总数和出错页面总数。 
所述的监控中心接收到监控Agent的DNS告警事件后，将该DNS告警内容通过Email通知网站管理员，请网站管理员确认该映射IP是否为该网站新添加的服务IP地址；如果网站管理员确认该IP是新添加的网站IP，监控中心将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对网站健康指数进行复位修正。 
与现有技术相比，本发明的有益效果如下： 
1)通过多网络多点从外部监控被监控的网站方式，对网站能否覆盖所有用户进行及时预警，确保当出现任何网络异常和内部异常情况，造成网络无法提供服务，网络运营方能够第一时间感知，提高网站的运营能力。 
2)通过监控中心通过分配算法，分配各个参与Agent的工作。各个Agent对网站服务的访问的时间点和周期有时间差，不会对网站造成并发压力。而且，每个Agent可以监控大量的网站，可以降低监控成本。由于每个监控Agent使用的DNS由网络提供商提供，可以有效的监控域名劫持攻击。 
附图说明：
图1是本发明的系统模块结构图。 
图2是本发明的系统工作流程图。 
图3是本发明监控Agent模块执行任务包的流程图。 
具体实施方式：
下面是对本发明的实施例作详细说明，本发明实施例在以本发明技术方案为前提下实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下面的实施例。 
下面参照附图，对本发明的具体实施方式作进一步的详细描述。 
图1是本发明的系统模块结构图，包括监控中心模块100和监控Agent107、108、109、110。监控中心100包括用户管理接口101、监控任务计算模块102、Agent注册管理模块103、评估算法模块104、网站评估数据模块105、告警模块106。 
用户管理接口101，属于监控中心子模块，用户通过用户管理接口101，可以实现在监控列表中新增一个网站的域名D、网站的IP地址范围，设置网站服 务监控的时间周期参数N，设置重点关注区域是所有二线以上的城市、不关注网络服务提供商。 
监控任务计算模块102，属于监控中心子模块，结合正常运行的监控Agent的分布参数，计算处分配给每个运行的监控Agent的任务包。任务包包括如下参数：域名、该域名对应的IP范围、动作、监控内容、操作启动时间、时间周期、偏移时间、执行任务的总时间、无法访问该域名时采用的策略、附加参数表，任务包的HASH摘要。 
Agent注册管理模块103，属于监控中心子模块，用于管理监控Agent。 
评估算法模块104，属于监控中心子模块，监控中心通过接收到的监控Agent上报的评估数据和告警事件，通过评估算法模块，结合网站用户关注的重点区域城市，实时计算网站的健康指数。 
网站评估模块105，属于监控中心子模块，用于完成监控内容，评估网站的首页关注、全站扫描、登录扫描信息。 
告警模块106，属于监控中心子模块，用于将DNS告警内容通过Email通知网站管理员，请网站管理员确认该映射IP是否为该网站新添加的服务IP地址。如果网站管理员确认该IP是新添加的网站IP，监控中心将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对网站健康指数进行复位修正。 
将整个互联网按照地域和网络服务商进行划分，地域划分单位是城市。每个划分出的单位区域再根据网络大小和结构部署一个或者多个监控Agent。监控Agent模块，分布于所划分的单位区域，用来监控所需监控的目标网站，并通过加密信道向监控中心上报所述目标网站运行状态。 
监控中心模块，通过加密信道向监控Agent模块发送任务包，处理监控Agent上报的所述目标网站运行状态，并且提供时间同步服务，将所有的监控Agent的时间与监控中心100时间保持同步。 
图2为本发明的系统工作流程图，分为监控中心201和监控节点两部分。 
参照图2和3，具体实施步骤如下。 
1)、划分网络和分配监控Agent(步骤202、203) 
将整个互联网按照地域和网络服务商进行划分，地域划分单位是城市。在每个划分出的单位区域中根据划分出的网络大小和结构部署一个或者多个监控Agent。在图中，所划分区域安装的监控Agent由模块107-110代表但不限于模块107-110。监控Agent模块107-110不需要独立公网IP，只需要能够访问互联网，并且Agent的DNS都使用当地网络服务商提供的DNS，不进行统一设置。 
2)、用户配置(步骤204) 
用户通过监控中心100中的用户管理接口101，可以实现在监控列表中新增一个网站的域名D、网站的IP地址范围，设置网站服务监控的时间周期参数N，设置重点关注区域是所有二线以上的城市、不关注网络服务提供商。网站服务监控的时间周期参数N的单位是分钟/周期，监控的时间范围是T，单位可以是小时、天、月和年。 
3)、建立加密信道(步骤205) 
监控Agent 107-110通过加密信道主动访问监控中心100，并维持和监控中心100的通信信道，其中监控中心100不仅需要能够访问互联网，还需要能够被外部网络访问。监控Agent 107-110将自身的运行状态定期向监控中心100通报。同时，监控中心100提供时间同步服务，所有的监控Agent包括监控Agent107-110的时间和监控中心100时间同步。 
4)、监控Agent上报运行状态(步骤206) 
监控Agent107-110上报的运行状态包括Agent自身服务是否正常开启，DNS，IP设置，正在执行的任务包数量和每个任务包的标识码。 
5)、分类管理监控Agent(步骤207) 
监控中心100通过分析监控Agent 107-110上报的运行状态数据，对正常运行的监控Agent以网络服务商+DNS+城市进行分类，该分类作为监控网站任务计算分配的一个重要参数。 
6)、计算任务包(步骤208) 
监控中心100的监控任务计算模块102根据用户设置的参数，结合正常运行的监控Agent的分布参数，得出分配给每个运行的监控Agent的任务包。任务包包括如下参数：域名、该域名对应的IP范围、动作、监控内容、操作启动时间、时间周期、偏移时间、执行任务的总时间、无法访问该域名时采用的策略、附加参数表，任务包的HASH摘要等。 
7)、分配任务包(步骤209) 
监控中心100将每个Agent的任务包通过加密信息分别发给每个监控Agent。 
为了避免多个Agent同时访问网站对网站访问造成并发压力，将每个Agent的执行时间进行等量偏移，偏移参数是N*60/(M+P*C)秒(N是时间周期参数，M是运行的Agent数量，C是重点关注地区个数，P是关注度)。每个Agent的时间周期根据监控内容、Agent所在的城市、用户的关注度进行调整。 
监控内容具体由网站评估模块105完成，具体分为首页关注、全站扫描、登录扫描等。首页关注是重点评估网站的首页的服务时间、下载时间、首页图片下载时间和死链等；全站扫描不仅对首页的相关参数进行评估，而且对网站内所有 的页面都进行评估；登录扫描是根据用户提供的密码登录网站，评估被密码保护的页面的相关参数。 
8)、执行任务包和判断网站运行情况(步骤210、211) 
监控Agent 107-110接收到监控中心100的任务包之后，首先通过比对HASH摘要来确定任务包的完整性。如果任务包完整，监控Agent 107-110根据任务包参数，周期性执行图3流程图所示的操作步骤。 
任务包300表示由监控中心100发给监控Agent 107-110的任务包。 
监控Agent 107-110收到任务包300后，执行步骤301，向网络服务商提供的DNS服务器请求该域名的IP地址。 
步骤302表示监控Agent 107-110对所请求DNS服务器是否响应作出判断，如果DNS服务器无法响应，执行步骤308生成告警事件，并立即上报监控中心(步骤309)，跳转步骤307，清空DNS缓存，本周期结束。 
如果DNS服务器响应，监控Agent107-110记录DNS服务器响应时间，并执行判断步骤303将DNS服务器反馈的IP地址和任务包中的网站IP地址范围进行对比，判断该IP是否在任务包中的IP地址范围中，如果该IP不在任务包中的IP地址范围中，则执行步骤312生成DNS告警事件，并立即上报监控中心100(步骤313)。 
然后执行判断步骤304，测试是否能够访问DNS服务器反馈的IP提供的HTTP/HTTPS服务，如果不能，将生成告警事件310，并立即上报监控中心110(步骤311)，跳转步骤307，清空DNS缓存，本周期结束。 
如果能够访问DNS服务器反馈的IP提供的HTTP/HTTPS服务，则执行步骤305，根据监控内容对该IP的网络服务进行深度不同的扫描评估。 
扫描评估结束后，执行步骤306，将评估的相关参数上报监控中心，然后执行步骤307，清空DNS缓存，本周期结束。 
9)、监控中心作出反应(步骤212) 
监控中心100接收到监控Agent107-110上报的评估数据和告警事件，由评估算法模块104结合网站用户关注的重点区域城市，实时计算网站的健康指数。网站的健康指数包括DNS健康度、网站首页健康度、除首页外其他页面的健康度、图片访问的健康度、死链总数、出错页面总数等。 
如果网站的实时健康指数低于预定的阈值，网站将通过Email、短信通知网站管理员； 
监控中心100接收到监控Agent 107-110的DNS告警事件后，不仅列入健康指数计算中，同时将该DNS告警内容通过Email通知网站管理员，请网站管 理员确认该映射IP是否为该网站新添加的服务IP地址。如果网站管理员确认该IP是新添加的网站IP，监控中心将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对网站健康指数进行复位修正。 

Claims (12)

1.一种分布式多Agent的网站监控系统，其特征在于，包括：划分的网络、监控Agent和监控中心；
所述的划分的网络是指将整个互联网按照地域和网络服务商划分成单位区域，地域划分单位是城市，每个单位区域根据网络大小和结构部署一个或者多个监控Agent；
所述的监控Agent分布于所划分的单位区域，用来监控所需监控的目标网站，并通过加密信道向监控中心上报所述的目标网站的运行状态；
所述的监控中心通过加密信道向所述的监控Agent发送任务包，处理监控Agent上报的所述的目标网站的运行状态，并且提供时间同步服务，将所有的监控Agent的时间与监控中心的时间保持同步。
2.根据权利要求1所述的分布式多Agent的网站监控系统，其特征在于，所述的监控中心包括用户管理接口模块、监控任务计算模块、Agent注册管理模块、网站评估模块、评估算法模块和告警模块；
所述的用户管理接口模块，用于在监控列表中新增一个网站的域名D、网站的IP地址范围，设置网站服务监控的时间周期参数N，设置重点关注区域是所有二线以上的城市、不关注网络服务提供商，并将设置好的参数传递给所述的监控任务计算模块和所述的Agent注册管理模块；
所述的监控任务计算模块，通过正常运行的监控Agent的分布参数，计算分配给每个运行的监控Agent的任务包；
所述的Agent注册管理模块，用于管理监控Agent；
所述的网站评估模块，用于完成监控内容，评估目标网站的首页关注、全站扫描、登录扫描信息；
所述的评估算法模块，根据所述监控Agent上传的网站运行状态来实时计算目标网站的健康指数；
所述的告警模块，用于将所述监控Agent上传的DNS告警内容通过Email通知网站管理员，请网站管理员确认该映射IP是否为该网站新添加的服务IP地址：如果网站管理员确认该IP是新添加的网站IP，监控任务计算模块将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对目标网站健康指数进行复位修正。
3.根据权利要求1所述的分布式多Agent的网站监控系统，其特征在于，所述的监控Agent能够访问互联网，无需独立公网IP，DNS使用当地网络服务商提供的DNS；所述Agent通过加密网络信道主动访问监控中心，并定期向监控中心上报Agent自身运行状态和所述目标网站的运行状态。
4.根据权利要求3所述的分布式多Agent的网站监控系统，其特征在于，所述的Agent自身运行状态包括：Agent自身服务是否正常开启；DNS和IP设置；正在执行的任务包数量和每个任务包的标识码。
5.一种分布式多Agent网站监控方法，其特征在于，该方法包括以下步骤：
步骤一、根据网络供应商和地域将互联网划分成单位区域，依据各个区域的网络大小和结构部署一个或多个监控Agent；
步骤二、用户在监控中心添加需要监控的目标网站域名，并设置相应的监控频率，如果监控中心发现有新的监控Agent加入工作或者某个监控Agent出现异常，监控中心将根据监控Agent情况重新计算任务包，并将该任务包发给活动的监控Agent；
步骤三、监控Agent通过加密信道主动访问监控中心，并将自身的运行状态定期向监控中心通报，监控中心提供时间同步服务；
步骤四：监控中心通过分析监控Agent上报的所述Agent自身运行状态数据，对正常运行的监控Agent以网络服务商+DNS+城市分类；
步骤五：监控中心计算出每个监控Agent的任务包；
步骤六：监控中心将任务包通过加密的网络信道分发给每个监控Agent；
步骤七：监控Agent接受到监控中心发来的任务包，根据任务包中网站监控指令执行相关操作，并将采集到目标网站的数据进行分析评估，最后将目标网站的性能参数送回到监控中心，直到该监控Agent收到取消或者修改该监控任务的新的任务包；
步骤八、监控中心收集各个监控Agent上报的目标网站的性能参数，并根据这些数据和监控Agent的分布情况，计算目标网站的健康指数，如果网站的健康指数低于预先设置的阈值，告知该网站的运营人员。
6.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，所述的步骤七、监控Agent接收到监控中心的任务包，通过比对HASH摘要，确定任务包的完整性，并根据任务包参数，周期性执行以下操作步骤：
1)向网络服务商提供的DNS服务器请求该域名的IP；
2)如果DNS服务器无法响应，将列为告警事件，并立即上报监控中心，跳转步骤6)；
如果DNS服务器响应，记录DNS服务器响应时间，并将DNS服务器反馈的IP和任务包中的网站IP地址范围进行对比；
3)如果该IP不在任务包中的IP地址范围中，将列为DNS告警事件，并立即上报监控中心，进入步骤4)；
如果该IP在任务包中的IP地址范围中，则直接进入步骤4)；
4)测试该IP提供的HTTP/HTTPS服务是否能够访问：
如果不能访问，将列为告警事件，并立即上报监控中心，跳转步骤6)；
如果该IP提供的HTTP/HTTPS服务能够访问，根据监控内容对该IP的网络服务进行深度不同的扫描评估；
5)扫描评估结束后，将评估的相关参数上报监控中心；
6)清空DNS缓存，本周期结束。
7.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，所述的用户在所述监控中心监控列表中新增一个网站的域名D，网站的IP地址范围，并设置网站服务监控的时间周期参数N，单位是分钟/周期；监控的时间范围是T，单位可以是小时、天、月和年等；设置重点关注区域是所有二线以上的城市，不关注网络服务提供商。
8.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，所述的任务包包括如下参数：域名、该域名对应的IP范围、动作、监控内容、操作启动时间、时间周期、偏移时间、执行任务的总时间、无法访问该域名时采用的策略、附加参数表，任务包的HASH摘要。
9.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，将每个监控Agent的执行时间进行等量偏移，偏移参数是N*60/(M+P*C)秒，其中，N是时间周期参数，M是运行的Agent数量，C是重点关注地区个数，P是关注度。
10.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，每个监控Agent的时间周期根据包括监控内容、Agent所在的城市、用户的关注度进行调整，监控内容包括首页关注、全站扫描、登录扫描。
11.根据权利要求5所述的分布式多Agent网站监控方法，其特征在于，所述的健康指数包括DNS健康度、网站首页健康度、除首页外其他页面的健康度、图片访问的健康度、死链总数和出错页面总数。
12.根据权利要求6所述的分布式多Agent网站监控方法，其特征在于，监控中心接收到监控Agent的DNS告警事件后，将该DNS告警内容通过Email通知网站管理员，请网站管理员确认该映射IP是否为该网站新添加的服务IP地址；如果网站管理员确认该IP是新添加的网站IP，监控中心将生成调整IP的任务包，将该IP变化情况通知所有监控Agent，并对网站健康指数进行复位修正。
CN201410541911.5A 2014-10-14 2014-10-14 分布式多Agent的网站监控方法和系统 Pending CN104320446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410541911.5A CN104320446A (zh) 2014-10-14 2014-10-14 分布式多Agent的网站监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410541911.5A CN104320446A (zh) 2014-10-14 2014-10-14 分布式多Agent的网站监控方法和系统

Publications (1)

Publication Number Publication Date
CN104320446A true CN104320446A (zh) 2015-01-28

Family

ID=52375615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410541911.5A Pending CN104320446A (zh) 2014-10-14 2014-10-14 分布式多Agent的网站监控方法和系统

Country Status (1)

Country Link
CN (1) CN104320446A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572401A (zh) * 2015-02-09 2015-04-29 浪潮软件股份有限公司 一种告警方法及告警系统
CN105099755A (zh) * 2015-05-29 2015-11-25 北京奇虎科技有限公司 一种监控网站系统性能的方法、设备和系统
CN106161450A (zh) * 2016-07-20 2016-11-23 上海携程商务有限公司 分布式https监控方法
CN106411578A (zh) * 2016-09-12 2017-02-15 国网山东省电力公司电力科学研究院 一种适应于电力行业的网站监控系统及方法
CN107181830A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种获取目标网站数据信息的方法及装置
CN107888452A (zh) * 2017-11-24 2018-04-06 成都知道创宇信息技术有限公司 一种24小时分布式网站性能监测和实时告警方法
CN109686073A (zh) * 2019-01-23 2019-04-26 积成电子股份有限公司 一种批量自动生成采集终端任务的方法
CN110536103A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种监控点管理方法、装置、设备及存储介质
CN110716973A (zh) * 2019-09-23 2020-01-21 杭州安恒信息技术股份有限公司 基于大数据的安全事件上报平台及方法
CN111563222A (zh) * 2020-05-07 2020-08-21 安徽龙讯信息科技有限公司 一种基于集约化网站平台的内容运营监管系统
CN114584589A (zh) * 2022-03-04 2022-06-03 杭州智麒科技有限公司 一种快速扫描发现资源并快速监控的实现方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002403A1 (en) * 2004-06-30 2006-01-05 Glenayre Electronics, Inc. Distributed IP architecture for telecommunications system
CN101035017A (zh) * 2007-02-02 2007-09-12 南京邮电大学 基于移动代理的无线传感器网络分布式管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002403A1 (en) * 2004-06-30 2006-01-05 Glenayre Electronics, Inc. Distributed IP architecture for telecommunications system
CN101035017A (zh) * 2007-02-02 2007-09-12 南京邮电大学 基于移动代理的无线传感器网络分布式管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏业超等: ""一种分布式网站状态监控机制研究"", 《信息网络安全》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572401A (zh) * 2015-02-09 2015-04-29 浪潮软件股份有限公司 一种告警方法及告警系统
CN105099755A (zh) * 2015-05-29 2015-11-25 北京奇虎科技有限公司 一种监控网站系统性能的方法、设备和系统
CN106161450A (zh) * 2016-07-20 2016-11-23 上海携程商务有限公司 分布式https监控方法
CN106161450B (zh) * 2016-07-20 2019-12-20 上海携程商务有限公司 分布式https监控方法
CN106411578B (zh) * 2016-09-12 2019-07-12 国网山东省电力公司电力科学研究院 一种适应于电力行业的网站监控系统及方法
CN106411578A (zh) * 2016-09-12 2017-02-15 国网山东省电力公司电力科学研究院 一种适应于电力行业的网站监控系统及方法
CN107181830A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种获取目标网站数据信息的方法及装置
CN107181830B (zh) * 2017-03-31 2019-07-12 北京奇艺世纪科技有限公司 一种获取目标网站数据信息的方法及装置
CN107888452A (zh) * 2017-11-24 2018-04-06 成都知道创宇信息技术有限公司 一种24小时分布式网站性能监测和实时告警方法
CN107888452B (zh) * 2017-11-24 2021-04-02 成都知道创宇信息技术有限公司 一种24小时分布式网站性能监测和实时告警方法
CN110536103A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种监控点管理方法、装置、设备及存储介质
CN109686073A (zh) * 2019-01-23 2019-04-26 积成电子股份有限公司 一种批量自动生成采集终端任务的方法
CN110716973A (zh) * 2019-09-23 2020-01-21 杭州安恒信息技术股份有限公司 基于大数据的安全事件上报平台及方法
CN111563222A (zh) * 2020-05-07 2020-08-21 安徽龙讯信息科技有限公司 一种基于集约化网站平台的内容运营监管系统
CN111563222B (zh) * 2020-05-07 2022-08-02 安徽龙讯信息科技有限公司 一种基于集约化网站平台的内容运营监管系统
CN114584589A (zh) * 2022-03-04 2022-06-03 杭州智麒科技有限公司 一种快速扫描发现资源并快速监控的实现方法

Similar Documents

Publication Publication Date Title
CN104320446A (zh) 分布式多Agent的网站监控方法和系统
US10674388B2 (en) Wireless communication data analysis and reporting
US10289473B2 (en) Situation analysis
EP3436951B1 (en) Systems and methods for measuring effective customer impact of network problems in real-time using streaming analytics
AU2019201687B2 (en) Network device vulnerability prediction
US20180270126A1 (en) Communication network quality of experience extrapolation and diagnosis
EA016898B1 (ru) Формирование сети предоставления услуг на основе политики
CN100388693C (zh) 根据服务水平协议对服务质量进行监测的方法和系统
US20210152455A1 (en) Centralized analytical monitoring of ip connected devices
US10548036B2 (en) Fault monitoring by assessing spatial distribution of queries in a utility supply network
CN102929773B (zh) 信息采集方法和装置
CN110493080A (zh) 一种区块链节点监控方法、装置及电子设备和存储介质
CN101621408B (zh) 用于在通信网络中监控事件的方法
CN103220173A (zh) 一种报警监控方法及监控系统
CN108960857A (zh) 一种售后服务管理方法、系统和装置
US8649270B2 (en) Dynamic network configuration
US11082323B2 (en) Fault monitoring in a utility supply network
Nguyen et al. Absence: Usage-based failure detection in mobile networks
CN103812694A (zh) 基于ArcGIS网格化的投诉热点监控与分析系统及其方法
CN117751567A (zh) 公用设施通信网络的动态处理分发
WO2016177054A1 (zh) 充电设备的管理方法及装置
CN103166779A (zh) 一种基于移动终端的告警确认和处理方法及装置
CN111031050A (zh) 用于用电信息采集系统的监测方法及装置
Kontoudis et al. A statistical approach to virtual server resource management
US9949062B2 (en) Method, computer-readable storage device and apparatus for predictive messaging for machine-to-machine sensors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150128