CN104102673A - 一种网页状态监控方法和装置 - Google Patents
一种网页状态监控方法和装置 Download PDFInfo
- Publication number
- CN104102673A CN104102673A CN201310127924.3A CN201310127924A CN104102673A CN 104102673 A CN104102673 A CN 104102673A CN 201310127924 A CN201310127924 A CN 201310127924A CN 104102673 A CN104102673 A CN 104102673A
- Authority
- CN
- China
- Prior art keywords
- web page
- page contents
- monitoring
- default
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Abstract
本发明公开了一种网页状态监控方法和装置,其中,所述方法包括:根据网页地址发送获取网页地址对应的网页内容的请求;根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否异常。本发明能够对网页状态进行自动监控,及时获知网页状态的异常情况。
Description
技术领域
本发明涉及互联网信息监控技术领域,尤其涉及一种网页状态监控方法和装置。
背景技术
有些网站的开放平台中有大量第三方开发者提供的应用,每个应用中对应一个统一资源定位符(Uniform Resource Locator,URL),也称网页地址,根据网页地址能访问到网页地址链接到的应用。网页地址对应的应用可以是与该平台主题相关的如游戏、测试或者实用的生活类查询等类型的应用,用户根据网页地址即可访问对应的应用。
对于第三方开发者提供的应用(第三方应用),在置于开放平台(如微博平台)前需要进行人工审核,主要是对应用自身上层页面级别的网页状态进行审核,而对于应用自身底层的应用程序级别的程序具体实现不进行审核。对所述网页状态进行审核,诸如:1)审查人员要查看根据网页地址是否能访问到对应的应用,即应用对应的网页地址是否失效;2)打开根据网页地址访问到应用对应的网页、或本文都简称为网页地址对应的网页,查看该网页的内容是否符合审查规范,审查规范一般包括法律法规的相关规定以及开放平台的要求。
虽然审核通过并置于开放平台中的网页地址是无法修改的,但是网页地址所指向的其他网站(非网页地址所在开放平台)的网页内容是可以更改的。
目前,对网页状态(即网页地址是否失效、及网页地址对应的网页内容)没有自动监控,只能靠客户端的用户反馈或审查人员在服务器侧的人工逐一排查,以便获知网页地址对应的网页内容是否变更、以及网页地址是否失效导致应用无法访问等网页状态的异常情况。但是,仅靠用户反馈或人工逐一排查,无法及时获知网页状态的异常情况。那么,就无法及时确认变更后的网页内容是否依然符合审核规范,也无法及时对失效导致无法访问的网页地址进行修复或撤换,进而影响用户正常使用应用。
发明内容
有鉴于此,本发明的主要目的在于提供一种网页状态监控方法和装置,能够对网页状态进行自动监控,及时获知网页状态的异常情况。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种网页状态监控方法,所述方法包括:
根据网页地址发送获取网页地址对应的网页内容的请求;
根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
较佳地,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,在新增第三方应用及现有第三方应用网页内容变更时向微博平台发起监控请求,微博平台触发对第三方应用的监控。
较佳地,所述方法还包括:微博平台触发对第三方应用的监控后,所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率。
较佳地,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,具体包括:
当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,根据预设的规则定时从数据库中读取所述网页地址。
较佳地,所述方法还包括:
判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明提供了一种网页状态监控装置,所述装置包括:
请求发送单元,用于根据网页地址发送获取网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
较佳地,所述装置还包括用户数据获取单元,用于通过第三方应用调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
较佳地,所述装置还包括:监控触发单元,用于通过微博平台监控是否有新增第三方应用及现有第三方应用网页内容变更来触发对第三方应用的监控。
较佳地,所述装置还包括:监控调度单元,用于所述监控触发单元触发对第三方应用的监控后,通过所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定所述请求发送单元发送所述获取网页地址对应的网页内容的请求的请求频率。
较佳地,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
较佳地,所述装置还包括网页地址获取单元,用于根据预设的规则定时从数据库中读取网页地址。
较佳地,所述监控执行单元,进一步用于判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明所提供的一种网页状态监控方法和装置,能够根据网页地址自动发送获取网页地址对应的网页内容的请求,再根据返回的网页内容的情况,判定网页状态是否为异常,从而能够对网页状态进行自动监控,及时得知网页状态的异常情况。
附图说明
图1为本发明网页状态监控方法的实现流程图;
图2为本发明网页状态监控装置的结构示意图;
图3本发明网页状态监控方法的方法实施例的实现流程图;
图4为本发明应用实例的实现流程图。
具体实施方式
本发明提供的一种网页状态监控方法,如图1所示,所述方法包括:
步骤101、根据网页地址发送获取网页地址对应的网页内容的请求;
这里,执行步骤101之前,还可以包括:第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。所述网页地址对应的网页内容为网页地址对应的第三方应用自身的网页内容,后续都简化描述为所述网页地址对应的网页内容。
这里,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。其中,发送的主题关键字指:用户在微博平台上一个用户所发送微博的主题关键字;接收的主题关键字指:用户在微博平台上收听其他用户所发送微博的主题关键字;以广播形式群发的主题关键字指:用户在微博平台上广播(至少一个用户)所群发微博的主题关键字。
这里需要指出的是:第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容,好处是:第三方应用通过与微博平台的交互获取用户数据能不断完善自身的网页内容,从而将第三方应用调整到最佳使用效果,进而这些与该微博平台主题相关的如游戏、测试或者实用的生活类查询等类型的第三方应用就能为用户提供最佳的服务和用户体验。如用户数据为用户地理位置信息或用户时间信息时,一个天气类第三方应用就可以为用户提供精准的当地实时天气预报信息;如用户数据为用户关系链时,一个游戏类第三方应用就可以使用户关系链中的多个用户一起共享使用该游戏;用户数据为发送/接收/以广播形式群发的主题关键字,第一个心理情感或性格测试第三方应用就可以为用户提供相应的查询信息,诸如此类,此处不做赘述。
这里,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,在新增第三方应用及现有第三方应用网页内容变更时向微博平台发起监控请求,微博平台触发对第三方应用的监控。
这里,所述方法还包括:微博平台触发对第三方应用的监控后,所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率。
触发对第三方应用的监控后,针对上述新增第三方应用而言,具体的,在实际应用中,所述方法还可以包括:判断微博平台是否新增第三方应用的网页内容和所述网页内容对应的网页地址,当微博平台新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址发送获取所述网页地址对应的网页内容的请求。
具体的,触发应用监控的方法可以如下:使用一张数据表格,如表1所示,来存储每个在微博平台上架的第三方应用,表格样式可以如下:
应用ID | 应用上架时间 | 最后扫描时间 | 应用稳定天数 |
1000001 | 2012-09-03 | 2013-03-01 | 120 |
1000002 | 2011-12-09 | 2013-03-05 | 231 |
1000003 | 2013-02-02 | 2013-03-07 | 15 |
...... | ...... | ...... | ...... |
表1
当一个应用被审核上架(即在微博平台新增一个第三方应用)时,将所述应用写入监控的应用表格中(即表1),并写入应用上架时间,此时应用稳定天数设置为0;
当一个应用因为某些原因被下架(即在微博平台删除一个第三方应用)时,将所述应用从表格中剔除,不再纳入监控的范围,也就是说结束对该第三方应用的监控流程。
监控程序按照预设的周期(例如每天)扫描表1,以此判断微博平台是否新增第三方应用的网页内容和所述网页内容对应的网页地址。
针对上述监控粒度和由其决定的请求频率而言,具体的,在实际应用中,所述方法还包括:获取微博平台上第三方应用的网页内容稳定时间,根据稳定时间确定根据网页地址发送获取网页地址对应的网页内容的请求的频率。稳定时间越短发送请求的频率越高;稳定时间越长发送请求的频率越低甚至一段时间不进行监控,也就是说,对微博平台来说,由于放置的应用数量众多,大部分应用处在一个相对稳定的阶段中不会频繁变更,频繁变更的仅仅是一小部分应用,符合80/20原则,所以对不同稳定程度的应用进行不同粒度的监控,可以节省资源,减少每次监控所需时间。
具体的,根据每次的监控结果调整上述表格中的应用稳定天数,当判定第三方应用的网页状态正常时,将应用稳定天数的计数累加1,当判定第三方应用的网页状态异常时,将应用稳定天数重置为0,所述应用稳定天数表示网页内容稳定时间。并且,监控程序对某个应用执行扫描(即监控)后会更新最后扫描时间字段。
这里,根据稳定时间确定根据网页地址发送获取网页地址对应的网页内容的请求的频率,可以采用如表2所示的策略:
应用稳定天数 | 扫描频率(1次/N天) |
0-30 | 1 |
31-90 | 3 |
>90 | 7 |
表2
监控程序按照预设的周期(例如每天)扫描表1,并根据表1所示的应用稳定天数和表2所示的策略,确定根据网页地址发送获取网页地址对应的网页内容的请求的频率。
在实际应用中,当监控程序扫描某个应用发现其稳定不变时,还可以给所述应用对应的应用稳定天数增加一个特定值(例如1-7不等,具体值取决于扫描频率)。
步骤102、根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
这里,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,为:当返回网页内容的时长超过预设的时长门限时,判定网页状态为异常。
这里,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,为:当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常。
这里,所述方法还可以包括:当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常。
这里,所述方法还可以包括:当返回网页内容的时长未超过预设的门限,且网页内容的字节数多于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
这里,所述方法还可以包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,根据预设的规则定时从数据库中读取网页地址。这里,根据预设的规则定时从数据库中读取网页地址包括但不限于:发轮询请求以读取网页地址的方式、遍历读取网页地址的方式、周期性读取网页地址的方式、设置定时器在预设时间到达时读取网页地址的方式中的任意一种方式,从而根据这些预设规则能采用不同的监控粒度和方式读取网页内容。
这里,所述方法还可以包括:判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明提供的一种网页状态监控装置,如图2所示,所述装置可以位于服务器侧,装置包括:
请求发送单元,用于根据网页地址发送获取网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
这里,所述装置还包括用户数据获取单元,用于第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容;所述网页地址对应的网页内容为网页地址对应的第三方应用自身的网页内容。
这里,所述装置还包括:监控触发单元,用于通过微博平台监控是否有新增第三方应用及现有第三方应用网页内容变更来触发对第三方应用的监控。
这里,所述装置还包括:监控调度单元,用于所述监控触发单元触发对第三方应用的监控后,通过所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定所述请求发送单元发送所述获取网页地址对应的网页内容的请求的请求频率。
这里,针对新增第三方应用而言,所述请求发送单元,进一步用于当新增应用判断单元判定微博平台新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址发送获取所述网页地址对应的网页内容的请求。
这里,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
这里,所述装置还包括网页地址获取单元,用于根据预设的规则定时从数据库中读取网页地址。
这里,所述监控执行单元,进一步用于判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
下面结合图3对本发明提供的网页状态监控方法的方法实施例进行介绍。
步骤301、根据预设的规则定时从数据库中读取网页地址;
这里,可以定期(例如每天)扫描数据库,从数据库读取一个应用的序列号和对应的网页地址,所述网页地址即为即将进行监控测试的网页地址。
步骤302、根据所述网页地址发送获取网页地址对应的网页内容的请求;
这里,在服务器侧可以使用真实的测试帐号和密码来模拟用户身份登录开放平台,获取登录信息;然后根据所述登录信息和所述网页地址对应的应用的序列号,获取授权信息;向所述网页地址发送获取其对应的网页内容的超文本传输协议(HTTP,Hypertext Transfer Protocol)请求,所述HTTP请求中携带授权信息。对于绝大多数应用来说,授权信息是必要的,因为应用必然会调用相关的应用程序编程接口(API,Application Programming Interface),而调用API的前提是必须获得用户给予的授权信息;
上述登录信息是指用户使用帐号和密码登录开放平台之后,系统为所述用户分配的一组登录票据,其具体形式为一个由特殊算法生成的特定字符串,例如mmnxcvid7743mxcfy。这个特定字符串具有一定的时效,例如,两个小时内有效。所述登录信息和用户帐号作为票据可以证明当前用户已经登录系统,特定时效内,无需反复登录。
步骤303、判断返回网页内容的时长是否超过预设的时长门限,当返回网页内容的时长未超过预设的时长门限时,进入步骤304;当返回网页内容的时长超过预设的时长门限时,进入步骤307;
这里,根据HTTP协议的规定,所述时长门限可以是5秒。在实际应用中,所述时长门限可以根据实际情况设为其他值,例如4秒、6秒等,不限于5秒。
步骤304、判断网页内容的字节数是否少于预设的字节数门限,当网页内容的字节数多于等于预设的字节数门限时,进入步骤305;当网页内容的字节数少于预设的字节数门限时,进入步骤306;
这里,字节数门限可以设为500字节。在实际应用中,所述字节数门限可以根据实际情况设为其他值,例如400字节、600字节等,不限于500字节。
步骤305、将获取的网页内容与预存的审核通过的原始网页内容进行逐字对比,当差异内容与原始网页内容比值大于预设的误差门限时,进入步骤307;当差异内容与原始网页内容比值小于等于预设的误差门限时,进入步骤308。
这里,误差门限可以设置为30%。在实际应用中,所述误差门限可以根据实际情况设为其他值,例如25%、35%等,不限于30%。
步骤306、判断网页内容是否包括跳转请求,当不包括跳转请求时,进入步骤307,当包括跳转请求时,执行跳转请求,返回步骤303;
这里,判定网页内容包括跳转请求的依据可以是:
A、网页内容带有HTTP协议的返回码301或者302;
B、网页内容中带有HTTP协议标记:<meta http-equiv=″refresh″content=″5;url=[another HTTP URL]″>;
C、网页内容中带有JavaScript脚本实现的跳转:
<script language=″javascript″type=″text/javascript″>
//直接跳转
windoW.location.href=′[another HTTP URL]′;
//定时跳转
setTimeout(″javascript:location.href=′[another HTTP URL]′″,5000);
</script>
执行跳转请求相当于向另一个网页地址发送获取其对应的网页内容的HTTP请求,将得到一个新的页面内容;
这里,执行跳转请求之前还可以包括判断页面跳转次数是否达到预设的跳转门限的步骤,当页面跳转次数达到预设的跳转门限时,进入步骤307,当页面跳转次数没有达到预设的跳转门限时,执行跳转请求。
步骤307、判定所述网页地址异常,并将判定为异常的网页地址写入异常报表,结束本次流程;
这里,还可以将异常的网页地址对应的异常类型写入异常报表,所述网页地址与异常类型一一对应。所述异常类型可以分为返回超时、内容过短、跳转过多、误差过大等,所述异常类型可以根据上述各步骤的判断结果确定,例如根据步骤303,当返回网页内容的时长超过预设的时长门限时,所述网页地址的异常类型为返回超时。异常报表内记录有异常地址对应的异常类型,可以方便审查人员得知网页地址所指向的网页内容变更、以及网页地址失效或者无法访问等网页状态异常情况。
步骤308、判定所述网页地址正常,并将判定为正常的网页地址写入正常报表,结束本次流程。
每次均将数据库内各应用对应的网页地址依次进行监控测试,分别得到异常报表和正常报表。由此,审查人员只需定时关注两个报表即可,不仅减少了监控工作量,而且能够及时得知网页状态的异常情况。
下面结合图4对本发明提供的网页状态监控方法的应用实例进行介绍。
本实例应用的开放平台具体为微博平台,在微博平台上提供快捷访问到应用的URL链接列表,根据URL链接列表中的各个URL能访问到第三方开发者提供的各种应用,这些应用是与该微博平台主题相关的应用,如用户互动游戏、用户互动话题讨论、心理/情感/星座测试、实用的股票/天气生活类查询等类型的应用。
步骤401、监控开始,根据URL发送获取URL对应的网页内容的请求。
这里,在服务器侧监控开始后会模拟用户登录微博平台以验证用户权限,根据授权信息用户权限验证通过后开始网页状态是否异常的分析。
这里,根据URL发送获取URL对应的网页内容的请求,是通过预设规则在服务器侧自动扫描数据库中的URL链接列表,根据URL链接列表中的URL发送获取URL对应的网页内容的请求。
步骤402、获取返回的该URL对应的网页内容。
步骤403、判断网页内容是否为正常返回以便对网页状态进行监控,如果是,则执行步骤404;否则,转入执行步骤405。
步骤404、判断网页内容的长度是否过短,如果是,则转入执行步骤406;否则,转入执行步骤407。
步骤405、监控的网页状态为异常时将对应的URL归类为异常URL。之后,转入执行步骤412。
步骤406、判断网页内容中是否有跳转逻辑,如果是,则转入执行步骤411;否则,转入执行步骤405。
步骤407、将网页内容与之前返回已审核通过的网页内容进行对比分析。
步骤408、判断经对比分析后二者的内容是否变更过大,如果是,则转入执行步骤405;否则,执行步骤409。
步骤409、监控的网页状态为正常时将对应的URL归类为正常URL。
步骤410、归类为正常URL时,将对应的URL写入正常URL报表。之后,转入执行步骤414。
步骤411、根据网页内容中包含的跳转逻辑执行跳转请求。之后,转入执行步骤402。
这里,跳转逻辑包含跳转请求所指向应用的URL、及应用相关的信息。通过执行跳转请求及根据URL发送获取URL对应的网页内容的请求,最终会访问到跳转请求所指向的应用及应用对应的网页内容。
这里需要指出的是:所述应用相关的信息为应用的概要信息描述,而所述应用对应的网页内容是应用的完整信息描述。其中,所述应用相关的信息至少包括两类概要信息描述,一类概要信息描述是:描述基于何种原因该应用访问地址更新的提示信息,如服务器租约地址到期或租用时间到期的提示。另一类概要信息描述是:描述应用自身新增功能更新的提示信息,如一个生活类查询应用除了目前天气预报功能、新增了股票查询功能、旅游信息查询或火车/飞机班次查询功能。本发明增加页面跳转逻辑的好处是:通过上述应用相关的信息做概要描述,提示用户进行选择是否要继续访问跳转逻辑中URL对应的应用。
步骤412、将对应的URL归类为异常URL后进行异常类型分析。
步骤413、归类为异常URL且对其标识异常类型描述分析后,将对应的URL写入异常URL报表。
这里,归类为异常URL且对其标识异常类型描述分析的好处是:有了异常类型描述分析标识,就可以对该异常URL有针对性地进行分类处理,且一个异常URL的类型描述分析标识可以为一个或多个,一异常URL的类型描述分析标识为多个时,由于可供监控的标识数据多,因此通过多个异常类型描述分析标识能更好的进行网页状态监控。
步骤414、结束当前监控流程。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (15)
1.一种网页状态监控方法,其特征在于,所述方法包括:
根据网页地址发送获取网页地址对应的网页内容的请求;
根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
3.根据权利要求2所述的方法,其特征在于,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,在新增第三方应用及现有第三方应用网页内容变更时向微博平台发起监控请求,微博平台触发对第三方应用的监控。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:微博平台触发对第三方应用的监控后,所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,具体包括:
当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,根据预设的规则定时从数据库中读取所述网页地址。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
9.一种网页状态监控装置,其特征在于,所述装置包括:
请求发送单元,用于根据网页地址发送获取网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括用户数据获取单元,用于通过第三方应用调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:监控触发单元,用于通过微博平台监控是否有新增第三方应用及现有第三方应用网页内容变更来触发对第三方应用的监控。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:监控调度单元,用于所述监控触发单元触发对第三方应用的监控后,通过所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定所述请求发送单元发送所述获取网页地址对应的网页内容的请求的请求频率。
13.根据权利要求9至12任一项所述的装置,其特征在于,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括网页地址获取单元,用于根据预设的规则定时从数据库中读取网页地址。
15.根据权利要求13所述的装置,其特征在于,所述监控执行单元,进一步用于判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310127924.3A CN104102673B (zh) | 2013-04-12 | 2013-04-12 | 一种网页状态监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310127924.3A CN104102673B (zh) | 2013-04-12 | 2013-04-12 | 一种网页状态监控方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104102673A true CN104102673A (zh) | 2014-10-15 |
CN104102673B CN104102673B (zh) | 2019-05-17 |
Family
ID=51670832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310127924.3A Active CN104102673B (zh) | 2013-04-12 | 2013-04-12 | 一种网页状态监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104102673B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868222A (zh) * | 2015-09-17 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种任务调度方法及装置 |
CN107368399A (zh) * | 2017-06-28 | 2017-11-21 | 武汉斗鱼网络科技有限公司 | 一种线上网页监控方法及系统 |
CN108052429A (zh) * | 2017-11-13 | 2018-05-18 | 山东中创软件商用中间件股份有限公司 | 一种url的状态监控方法、装置及介质 |
CN110362762A (zh) * | 2019-07-11 | 2019-10-22 | 北京达佳互联信息技术有限公司 | 内容数据展示方法、装置、电子设备及存储介质 |
WO2019205280A1 (zh) * | 2018-04-24 | 2019-10-31 | 平安科技(深圳)有限公司 | 服务器的测试方法、装置、设备及计算机可读存储介质 |
CN110968475A (zh) * | 2019-11-13 | 2020-04-07 | 泰康保险集团股份有限公司 | 监控网页的方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003114812A (ja) * | 2001-10-04 | 2003-04-18 | Nec Corp | Webページ運用監視方法、Webページ運用監視システム及びWebページ運用監視プログラム |
CN101860573A (zh) * | 2010-06-25 | 2010-10-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种更新互联网信息的方法、系统及移动终端 |
CN102402514A (zh) * | 2010-09-07 | 2012-04-04 | 腾讯科技(深圳)有限公司 | 展示微博客人页的方法和装置 |
CN102739663A (zh) * | 2012-06-18 | 2012-10-17 | 奇智软件(北京)有限公司 | 网页检测方法与扫描引擎 |
-
2013
- 2013-04-12 CN CN201310127924.3A patent/CN104102673B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003114812A (ja) * | 2001-10-04 | 2003-04-18 | Nec Corp | Webページ運用監視方法、Webページ運用監視システム及びWebページ運用監視プログラム |
CN101860573A (zh) * | 2010-06-25 | 2010-10-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种更新互联网信息的方法、系统及移动终端 |
CN102402514A (zh) * | 2010-09-07 | 2012-04-04 | 腾讯科技(深圳)有限公司 | 展示微博客人页的方法和装置 |
CN102739663A (zh) * | 2012-06-18 | 2012-10-17 | 奇智软件(北京)有限公司 | 网页检测方法与扫描引擎 |
Non-Patent Citations (1)
Title |
---|
陈玉良: "《农村科技信息共享技术与实践》", 31 August 2004, 《中国农业科学技术出版社》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868222A (zh) * | 2015-09-17 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种任务调度方法及装置 |
CN107368399A (zh) * | 2017-06-28 | 2017-11-21 | 武汉斗鱼网络科技有限公司 | 一种线上网页监控方法及系统 |
CN108052429A (zh) * | 2017-11-13 | 2018-05-18 | 山东中创软件商用中间件股份有限公司 | 一种url的状态监控方法、装置及介质 |
WO2019205280A1 (zh) * | 2018-04-24 | 2019-10-31 | 平安科技(深圳)有限公司 | 服务器的测试方法、装置、设备及计算机可读存储介质 |
CN110362762A (zh) * | 2019-07-11 | 2019-10-22 | 北京达佳互联信息技术有限公司 | 内容数据展示方法、装置、电子设备及存储介质 |
CN110362762B (zh) * | 2019-07-11 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 内容数据展示方法、装置、电子设备及存储介质 |
CN110968475A (zh) * | 2019-11-13 | 2020-04-07 | 泰康保险集团股份有限公司 | 监控网页的方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104102673B (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109614301B (zh) | 一种信息的评估方法和装置 | |
CN104102673A (zh) | 一种网页状态监控方法和装置 | |
CN101222349B (zh) | 收集web用户行为及性能数据的方法及系统 | |
CN102891897B (zh) | 网页分享方法和服务器及客户端 | |
CN103888490B (zh) | 一种全自动的web客户端人机识别的方法 | |
US20110191664A1 (en) | Systems for and methods for detecting url web tracking and consumer opt-out cookies | |
US20100153539A1 (en) | Algorithm for classification of browser links | |
CN104766014A (zh) | 用于检测恶意网址的方法和系统 | |
CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
CN102077201A (zh) | 用于网页的动态及实时归类的系统及方法 | |
CN103618696B (zh) | 对cookie信息进行处理的方法和服务器 | |
KR102090982B1 (ko) | 악의 웹 사이트 식별 방법, 장치 및 컴퓨터 기억매체 | |
US9910858B2 (en) | System and method for providing contextual analytics data | |
WO2015038881A1 (en) | A method and system for generating comparable visual maps for browsing activity analysis | |
CN103577526B (zh) | 一种验证页面是否被修改的方法、系统及浏览器 | |
CN102932207A (zh) | 监测网站访问信息的方法及服务器 | |
CN111552854A (zh) | 一种网页数据抓取方法、装置、存储介质和设备 | |
CN106060004A (zh) | 数据库访问方法及数据库代理节点 | |
JP6324534B2 (ja) | プロモーション状況データの監視方法、装置、デバイス及び非発揮性コンピューター記憶媒体 | |
CN101441657A (zh) | 访客意向识别系统及方法和访客意向识别平台 | |
CN109831429A (zh) | 一种Webshell检测方法及装置 | |
CN104301311A (zh) | Dns过滤网络数据内容的方法及设备 | |
CN111008059A (zh) | 一种弹窗展示的控制方法、装置、终端及存储介质 | |
CN111404937B (zh) | 一种服务器漏洞的检测方法和装置 | |
CN106202357A (zh) | 一种网站浏览数据分析方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |