CN104102673B - 一种网页状态监控方法和装置 - Google Patents

一种网页状态监控方法和装置 Download PDF

Info

Publication number
CN104102673B
CN104102673B CN201310127924.3A CN201310127924A CN104102673B CN 104102673 B CN104102673 B CN 104102673B CN 201310127924 A CN201310127924 A CN 201310127924A CN 104102673 B CN104102673 B CN 104102673B
Authority
CN
China
Prior art keywords
web page
page contents
monitoring
preset
webpage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310127924.3A
Other languages
English (en)
Other versions
CN104102673A (zh
Inventor
李佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310127924.3A priority Critical patent/CN104102673B/zh
Publication of CN104102673A publication Critical patent/CN104102673A/zh
Application granted granted Critical
Publication of CN104102673B publication Critical patent/CN104102673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种网页状态监控方法和装置,其中,所述方法包括:根据网页地址发送获取网页地址对应的网页内容的请求;根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否异常。本发明能够对网页状态进行自动监控,及时获知网页状态的异常情况。

Description

一种网页状态监控方法和装置
技术领域
本发明涉及互联网信息监控技术领域,尤其涉及一种网页状态监控方法和装置。
背景技术
有些网站的开放平台中有大量第三方开发者提供的应用,每个应用中对应一个统一资源定位符(Uniform Resource Locator,URL),也称网页地址,根据网页地址能访问到网页地址链接到的应用。网页地址对应的应用可以是与该平台主题相关的如游戏、测试或者实用的生活类查询等类型的应用,用户根据网页地址即可访问对应的应用。
对于第三方开发者提供的应用(第三方应用),在置于开放平台(如微博平台)前需要进行人工审核,主要是对应用自身上层页面级别的网页状态进行审核,而对于应用自身底层的应用程序级别的程序具体实现不进行审核。对所述网页状态进行审核,诸如:1)审查人员要查看根据网页地址是否能访问到对应的应用,即应用对应的网页地址是否失效;2)打开根据网页地址访问到应用对应的网页、或本文都简称为网页地址对应的网页,查看该网页的内容是否符合审查规范,审查规范一般包括法律法规的相关规定以及开放平台的要求。
虽然审核通过并置于开放平台中的网页地址是无法修改的,但是网页地址所指向的其他网站(非网页地址所在开放平台)的网页内容是可以更改的。
目前,对网页状态(即网页地址是否失效、及网页地址对应的网页内容)没有自动监控,只能靠客户端的用户反馈或审查人员在服务器侧的人工逐一排查,以便获知网页地址对应的网页内容是否变更、以及网页地址是否失效导致应用无法访问等网页状态的异常情况。但是,仅靠用户反馈或人工逐一排查,无法及时获知网页状态的异常情况。那么,就无法及时确认变更后的网页内容是否依然符合审核规范,也无法及时对失效导致无法访问的网页地址进行修复或撤换,进而影响用户正常使用应用。
发明内容
有鉴于此,本发明的主要目的在于提供一种网页状态监控方法和装置,能够对网页状态进行自动监控,及时获知网页状态的异常情况。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种网页状态监控方法,所述方法包括:
根据网页地址发送获取网页地址对应的网页内容的请求;
根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
较佳地,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,在新增第三方应用及现有第三方应用网页内容变更时向微博平台发起监控请求,微博平台触发对第三方应用的监控。
较佳地,所述方法还包括:微博平台触发对第三方应用的监控后,所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率。
较佳地,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,具体包括:
当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
较佳地,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,根据预设的规则定时从数据库中读取所述网页地址。
较佳地,所述方法还包括:
判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明提供了一种网页状态监控装置,所述装置包括:
请求发送单元,用于根据网页地址发送获取网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
较佳地,所述装置还包括用户数据获取单元,用于通过第三方应用调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
较佳地,所述装置还包括:监控触发单元,用于通过微博平台监控是否有新增第三方应用及现有第三方应用网页内容变更来触发对第三方应用的监控。
较佳地,所述装置还包括:监控调度单元,用于所述监控触发单元触发对第三方应用的监控后,通过所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定所述请求发送单元发送所述获取网页地址对应的网页内容的请求的请求频率。
较佳地,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
较佳地,所述装置还包括网页地址获取单元,用于根据预设的规则定时从数据库中读取网页地址。
较佳地,所述监控执行单元,进一步用于判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明所提供的一种网页状态监控方法和装置,能够根据网页地址自动发送获取网页地址对应的网页内容的请求,再根据返回的网页内容的情况,判定网页状态是否为异常,从而能够对网页状态进行自动监控,及时得知网页状态的异常情况。
附图说明
图1为本发明网页状态监控方法的实现流程图;
图2为本发明网页状态监控装置的结构示意图;
图3本发明网页状态监控方法的方法实施例的实现流程图;
图4为本发明应用实例的实现流程图。
具体实施方式
本发明提供的一种网页状态监控方法,如图1所示,所述方法包括:
步骤101、根据网页地址发送获取网页地址对应的网页内容的请求;
这里,执行步骤101之前,还可以包括:第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。所述网页地址对应的网页内容为网页地址对应的第三方应用自身的网页内容,后续都简化描述为所述网页地址对应的网页内容。
这里,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。其中,发送的主题关键字指:用户在微博平台上@一个用户所发送微博的主题关键字;接收的主题关键字指:用户在微博平台上收听其他用户所发送微博的主题关键字;以广播形式群发的主题关键字指:用户在微博平台上广播(@至少一个用户)所群发微博的主题关键字。
这里需要指出的是:第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容,好处是:第三方应用通过与微博平台的交互获取用户数据能不断完善自身的网页内容,从而将第三方应用调整到最佳使用效果,进而这些与该微博平台主题相关的如游戏、测试或者实用的生活类查询等类型的第三方应用就能为用户提供最佳的服务和用户体验。如用户数据为用户地理位置信息或用户时间信息时,一个天气类第三方应用就可以为用户提供精准的当地实时天气预报信息;如用户数据为用户关系链时,一个游戏类第三方应用就可以使用户关系链中的多个用户一起共享使用该游戏;用户数据为发送/接收/以广播形式群发的主题关键字,第一个心理情感或性格测试第三方应用就可以为用户提供相应的查询信息,诸如此类,此处不做赘述。
这里,所述方法还包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,在新增第三方应用及现有第三方应用网页内容变更时向微博平台发起监控请求,微博平台触发对第三方应用的监控。
这里,所述方法还包括:微博平台触发对第三方应用的监控后,所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率。
触发对第三方应用的监控后,针对上述新增第三方应用而言,具体的,在实际应用中,所述方法还可以包括:判断微博平台是否新增第三方应用的网页内容和所述网页内容对应的网页地址,当微博平台新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址发送获取所述网页地址对应的网页内容的请求。
具体的,触发应用监控的方法可以如下:使用一张数据表格,如表1所示,来存储每个在微博平台上架的第三方应用,表格样式可以如下:
应用ID 应用上架时间 最后扫描时间 应用稳定天数
1000001 2012-09-03 2013-03-01 120
1000002 2011-12-09 2013-03-05 231
1000003 2013-02-02 2013-03-07 15
...... ...... ...... ......
表1
当一个应用被审核上架(即在微博平台新增一个第三方应用)时,将所述应用写入监控的应用表格中(即表1),并写入应用上架时间,此时应用稳定天数设置为0;
当一个应用因为某些原因被下架(即在微博平台删除一个第三方应用)时,将所述应用从表格中剔除,不再纳入监控的范围,也就是说结束对该第三方应用的监控流程。
监控程序按照预设的周期(例如每天)扫描表1,以此判断微博平台是否新增第三方应用的网页内容和所述网页内容对应的网页地址。
针对上述监控粒度和由其决定的请求频率而言,具体的,在实际应用中,所述方法还包括:获取微博平台上第三方应用的网页内容稳定时间,根据稳定时间确定根据网页地址发送获取网页地址对应的网页内容的请求的频率。稳定时间越短发送请求的频率越高;稳定时间越长发送请求的频率越低甚至一段时间不进行监控,也就是说,对微博平台来说,由于放置的应用数量众多,大部分应用处在一个相对稳定的阶段中不会频繁变更,频繁变更的仅仅是一小部分应用,符合80/20原则,所以对不同稳定程度的应用进行不同粒度的监控,可以节省资源,减少每次监控所需时间。
具体的,根据每次的监控结果调整上述表格中的应用稳定天数,当判定第三方应用的网页状态正常时,将应用稳定天数的计数累加1,当判定第三方应用的网页状态异常时,将应用稳定天数重置为0,所述应用稳定天数表示网页内容稳定时间。并且,监控程序对某个应用执行扫描(即监控)后会更新最后扫描时间字段。
这里,根据稳定时间确定根据网页地址发送获取网页地址对应的网页内容的请求的频率,可以采用如表2所示的策略:
应用稳定天数 扫描频率(1次/N天)
0-30 1
31-90 3
>90 7
表2
监控程序按照预设的周期(例如每天)扫描表1,并根据表1所示的应用稳定天数和表2所示的策略,确定根据网页地址发送获取网页地址对应的网页内容的请求的频率。
在实际应用中,当监控程序扫描某个应用发现其稳定不变时,还可以给所述应用对应的应用稳定天数增加一个特定值(例如1-7不等,具体值取决于扫描频率)。
步骤102、根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
这里,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,为:当返回网页内容的时长超过预设的时长门限时,判定网页状态为异常。
这里,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,为:当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常。
这里,所述方法还可以包括:当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常。
这里,所述方法还可以包括:当返回网页内容的时长未超过预设的门限,且网页内容的字节数多于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
这里,所述方法还可以包括:根据网页地址发送获取网页地址对应的网页内容的请求之前,根据预设的规则定时从数据库中读取网页地址。这里,根据预设的规则定时从数据库中读取网页地址包括但不限于:发轮询请求以读取网页地址的方式、遍历读取网页地址的方式、周期性读取网页地址的方式、设置定时器在预设时间到达时读取网页地址的方式中的任意一种方式,从而根据这些预设规则能采用不同的监控粒度和方式读取网页内容。
这里,所述方法还可以包括:判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
本发明提供的一种网页状态监控装置,如图2所示,所述装置可以位于服务器侧,装置包括:
请求发送单元,用于根据网页地址发送获取网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常。
这里,所述装置还包括用户数据获取单元,用于第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容;所述网页地址对应的网页内容为网页地址对应的第三方应用自身的网页内容。
这里,所述装置还包括:监控触发单元,用于通过微博平台监控是否有新增第三方应用及现有第三方应用网页内容变更来触发对第三方应用的监控。
这里,所述装置还包括:监控调度单元,用于所述监控触发单元触发对第三方应用的监控后,通过所述微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度;根据所述监控粒度确定所述请求发送单元发送所述获取网页地址对应的网页内容的请求的请求频率。
这里,针对新增第三方应用而言,所述请求发送单元,进一步用于当新增应用判断单元判定微博平台新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址发送获取所述网页地址对应的网页内容的请求。
这里,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常。
这里,所述监控执行单元,进一步用于当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
这里,所述装置还包括网页地址获取单元,用于根据预设的规则定时从数据库中读取网页地址。
这里,所述监控执行单元,进一步用于判定所述网页状态为异常时,将所述网页地址归类为异常的网页地址并写入异常报表。
下面结合图3对本发明提供的网页状态监控方法的方法实施例进行介绍。
步骤301、根据预设的规则定时从数据库中读取网页地址;
这里,可以定期(例如每天)扫描数据库,从数据库读取一个应用的序列号和对应的网页地址,所述网页地址即为即将进行监控测试的网页地址。
步骤302、根据所述网页地址发送获取网页地址对应的网页内容的请求;
这里,在服务器侧可以使用真实的测试帐号和密码来模拟用户身份登录开放平台,获取登录信息;然后根据所述登录信息和所述网页地址对应的应用的序列号,获取授权信息;向所述网页地址发送获取其对应的网页内容的超文本传输协议(HTTP,HypertextTransfer Protocol)请求,所述HTTP请求中携带授权信息。对于绝大多数应用来说,授权信息是必要的,因为应用必然会调用相关的应用程序编程接口(API,ApplicationProgramming Interface),而调用API的前提是必须获得用户给予的授权信息;
上述登录信息是指用户使用帐号和密码登录开放平台之后,系统为所述用户分配的一组登录票据,其具体形式为一个由特殊算法生成的特定字符串,例如mmnxcvid7743mxcfy。这个特定字符串具有一定的时效,例如,两个小时内有效。所述登录信息和用户帐号作为票据可以证明当前用户已经登录系统,特定时效内,无需反复登录。
步骤303、判断返回网页内容的时长是否超过预设的时长门限,当返回网页内容的时长未超过预设的时长门限时,进入步骤304;当返回网页内容的时长超过预设的时长门限时,进入步骤307;
这里,根据HTTP协议的规定,所述时长门限可以是5秒。在实际应用中,所述时长门限可以根据实际情况设为其他值,例如4秒、6秒等,不限于5秒。
步骤304、判断网页内容的字节数是否少于预设的字节数门限,当网页内容的字节数多于等于预设的字节数门限时,进入步骤305;当网页内容的字节数少于预设的字节数门限时,进入步骤306;
这里,字节数门限可以设为500字节。在实际应用中,所述字节数门限可以根据实际情况设为其他值,例如400字节、600字节等,不限于500字节。
步骤305、将获取的网页内容与预存的审核通过的原始网页内容进行逐字对比,当差异内容与原始网页内容比值大于预设的误差门限时,进入步骤307;当差异内容与原始网页内容比值小于等于预设的误差门限时,进入步骤308。
这里,误差门限可以设置为30%。在实际应用中,所述误差门限可以根据实际情况设为其他值,例如25%、35%等,不限于30%。
步骤306、判断网页内容是否包括跳转请求,当不包括跳转请求时,进入步骤307,当包括跳转请求时,执行跳转请求,返回步骤303;
这里,判定网页内容包括跳转请求的依据可以是:
A、网页内容带有HTTP协议的返回码301或者302;
B、网页内容中带有HTTP协议标记:<meta http-equiv=″refresh″content=″5;url=[another HTTP URL]″>;
C、网页内容中带有JavaScript脚本实现的跳转:
<script language=″javascript″type=″text/javascript″>
//直接跳转
windoW.location.href=′[another HTTP URL]′;
//定时跳转
setTimeout(″javascript:location.href=′[another HTTP URL]′″,5000);
</script>
执行跳转请求相当于向另一个网页地址发送获取其对应的网页内容的HTTP请求,将得到一个新的页面内容;
这里,执行跳转请求之前还可以包括判断页面跳转次数是否达到预设的跳转门限的步骤,当页面跳转次数达到预设的跳转门限时,进入步骤307,当页面跳转次数没有达到预设的跳转门限时,执行跳转请求。
步骤307、判定所述网页地址异常,并将判定为异常的网页地址写入异常报表,结束本次流程;
这里,还可以将异常的网页地址对应的异常类型写入异常报表,所述网页地址与异常类型一一对应。所述异常类型可以分为返回超时、内容过短、跳转过多、误差过大等,所述异常类型可以根据上述各步骤的判断结果确定,例如根据步骤303,当返回网页内容的时长超过预设的时长门限时,所述网页地址的异常类型为返回超时。异常报表内记录有异常地址对应的异常类型,可以方便审查人员得知网页地址所指向的网页内容变更、以及网页地址失效或者无法访问等网页状态异常情况。
步骤308、判定所述网页地址正常,并将判定为正常的网页地址写入正常报表,结束本次流程。
每次均将数据库内各应用对应的网页地址依次进行监控测试,分别得到异常报表和正常报表。由此,审查人员只需定时关注两个报表即可,不仅减少了监控工作量,而且能够及时得知网页状态的异常情况。
下面结合图4对本发明提供的网页状态监控方法的应用实例进行介绍。
本实例应用的开放平台具体为微博平台,在微博平台上提供快捷访问到应用的URL链接列表,根据URL链接列表中的各个URL能访问到第三方开发者提供的各种应用,这些应用是与该微博平台主题相关的应用,如用户互动游戏、用户互动话题讨论、心理/情感/星座测试、实用的股票/天气生活类查询等类型的应用。
步骤401、监控开始,根据URL发送获取URL对应的网页内容的请求。
这里,在服务器侧监控开始后会模拟用户登录微博平台以验证用户权限,根据授权信息用户权限验证通过后开始网页状态是否异常的分析。
这里,根据URL发送获取URL对应的网页内容的请求,是通过预设规则在服务器侧自动扫描数据库中的URL链接列表,根据URL链接列表中的URL发送获取URL对应的网页内容的请求。
步骤402、获取返回的该URL对应的网页内容。
步骤403、判断网页内容是否为正常返回以便对网页状态进行监控,如果是,则执行步骤404;否则,转入执行步骤405。
步骤404、判断网页内容的长度是否过短,如果是,则转入执行步骤406;否则,转入执行步骤407。
步骤405、监控的网页状态为异常时将对应的URL归类为异常URL。之后,转入执行步骤412。
步骤406、判断网页内容中是否有跳转逻辑,如果是,则转入执行步骤411;否则,转入执行步骤405。
步骤407、将网页内容与之前返回已审核通过的网页内容进行对比分析。
步骤408、判断经对比分析后二者的内容是否变更过大,如果是,则转入执行步骤405;否则,执行步骤409。
步骤409、监控的网页状态为正常时将对应的URL归类为正常URL。
步骤410、归类为正常URL时,将对应的URL写入正常URL报表。之后,转入执行步骤414。
步骤411、根据网页内容中包含的跳转逻辑执行跳转请求。之后,转入执行步骤402。
这里,跳转逻辑包含跳转请求所指向应用的URL、及应用相关的信息。通过执行跳转请求及根据URL发送获取URL对应的网页内容的请求,最终会访问到跳转请求所指向的应用及应用对应的网页内容。
这里需要指出的是:所述应用相关的信息为应用的概要信息描述,而所述应用对应的网页内容是应用的完整信息描述。其中,所述应用相关的信息至少包括两类概要信息描述,一类概要信息描述是:描述基于何种原因该应用访问地址更新的提示信息,如服务器租约地址到期或租用时间到期的提示。另一类概要信息描述是:描述应用自身新增功能更新的提示信息,如一个生活类查询应用除了目前天气预报功能、新增了股票查询功能、旅游信息查询或火车/飞机班次查询功能。本发明增加页面跳转逻辑的好处是:通过上述应用相关的信息做概要描述,提示用户进行选择是否要继续访问跳转逻辑中URL对应的应用。
步骤412、将对应的URL归类为异常URL后进行异常类型分析。
步骤413、归类为异常URL且对其标识异常类型描述分析后,将对应的URL写入异常URL报表。
这里,归类为异常URL且对其标识异常类型描述分析的好处是:有了异常类型描述分析标识,就可以对该异常URL有针对性地进行分类处理,且一个异常URL的类型描述分析标识可以为一个或多个,一异常URL的类型描述分析标识为多个时,由于可供监控的标识数据多,因此通过多个异常类型描述分析标识能更好的进行网页状态监控。
步骤414、结束当前监控流程。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (7)

1.一种网页状态监控方法,其特征在于,所述方法包括:
在新增第三方应用及现有第三方应用网页内容变更时,微博平台接收监控请求,触发对第三方应用的监控;
微博平台获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度,根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率;
服务器获取所述请求频率,确定新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址、以及所述请求频率,发送获取所述网页地址对应的网页内容的请求;
所述服务器根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常;判定所述网页状态为异常时,将异常的网页地址对应的异常类型写入异常报表。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:发送获取网页地址对应的网页内容的请求之前,第三方应用通过调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
3.根据权利要求2所述的方法,其特征在于,所述用户数据具体包括:在微博平台显示的用户地理位置信息、在微博平台显示的用户时间信息、用户在微博平台发送/接收/以广播形式群发的主题关键字、用户在微博平台形成的用户关系链中的至少一种。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据返回网页内容的情况和监控条件,判断所述网页状态是否为异常,具体包括:
当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
5.一种网页状态监控装置,其特征在于,应用于服务器,所述装置包括:监控触发单元、请求发送单元和监控执行单元;其中,
监控触发单元,用于在新增第三方应用及现有第三方应用网页内容变更时,向微博平台发起监控请求;
微博平台,用于触发对第三方应用的监控;获取所监控的第三方应用的网页内容稳定时间,根据所述稳定时间确定对第三方应用的监控粒度,根据所述监控粒度确定发送所述获取网页地址对应的网页内容的请求的请求频率;
请求发送单元,用于获取所述请求频率,确定新增第三方应用的网页内容和所述网页内容对应的网页地址时,根据新增的网页地址、以及所述请求频率,发送获取所述网页地址对应的网页内容的请求;
监控执行单元,用于根据返回网页内容的情况和预设的监控条件,判断所述网页状态是否为异常;判定所述网页状态为异常时,将异常的网页地址对应的异常类型写入异常报表。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括用户数据获取单元,用于通过第三方应用调用微博平台的接口获取与微博平台相关的用户数据来更新自身网页内容。
7.根据权利要求5至6任一项所述的装置,其特征在于,所述监控执行单元,进一步用于当返回网页内容的时长超过预设的时长门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且网页内容不包括跳转请求时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,但网页内容的字节数少于预设的字节数门限且页面跳转次数超过预设的跳转门限时,判定所述网页状态为异常;
或者,当返回网页内容的时长未超过预设的门限,且网页内容的字节数大于等于预设的字节数门限时,将获取的网页内容与预存的审核通过的原始网页内容进行对比,当差异内容与原始网页内容比值大于预设的误差门限时,判定所述网页状态为异常。
CN201310127924.3A 2013-04-12 2013-04-12 一种网页状态监控方法和装置 Active CN104102673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310127924.3A CN104102673B (zh) 2013-04-12 2013-04-12 一种网页状态监控方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310127924.3A CN104102673B (zh) 2013-04-12 2013-04-12 一种网页状态监控方法和装置

Publications (2)

Publication Number Publication Date
CN104102673A CN104102673A (zh) 2014-10-15
CN104102673B true CN104102673B (zh) 2019-05-17

Family

ID=51670832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310127924.3A Active CN104102673B (zh) 2013-04-12 2013-04-12 一种网页状态监控方法和装置

Country Status (1)

Country Link
CN (1) CN104102673B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868222A (zh) * 2015-09-17 2016-08-17 乐视网信息技术(北京)股份有限公司 一种任务调度方法及装置
CN107368399A (zh) * 2017-06-28 2017-11-21 武汉斗鱼网络科技有限公司 一种线上网页监控方法及系统
CN108052429A (zh) * 2017-11-13 2018-05-18 山东中创软件商用中间件股份有限公司 一种url的状态监控方法、装置及介质
CN108650149B (zh) * 2018-04-24 2021-10-01 平安科技(深圳)有限公司 服务器的测试方法、装置、设备及计算机可读存储介质
CN110362762B (zh) * 2019-07-11 2022-01-21 北京达佳互联信息技术有限公司 内容数据展示方法、装置、电子设备及存储介质
CN110968475A (zh) * 2019-11-13 2020-04-07 泰康保险集团股份有限公司 监控网页的方法、装置、电子设备及可读存储介质
CN113377629A (zh) * 2020-03-09 2021-09-10 北京沃东天骏信息技术有限公司 监控用户异常编码的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114812A (ja) * 2001-10-04 2003-04-18 Nec Corp Webページ運用監視方法、Webページ運用監視システム及びWebページ運用監視プログラム
CN101860573A (zh) * 2010-06-25 2010-10-13 宇龙计算机通信科技(深圳)有限公司 一种更新互联网信息的方法、系统及移动终端
CN102402514A (zh) * 2010-09-07 2012-04-04 腾讯科技(深圳)有限公司 展示微博客人页的方法和装置
CN102739663A (zh) * 2012-06-18 2012-10-17 奇智软件(北京)有限公司 网页检测方法与扫描引擎

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114812A (ja) * 2001-10-04 2003-04-18 Nec Corp Webページ運用監視方法、Webページ運用監視システム及びWebページ運用監視プログラム
CN101860573A (zh) * 2010-06-25 2010-10-13 宇龙计算机通信科技(深圳)有限公司 一种更新互联网信息的方法、系统及移动终端
CN102402514A (zh) * 2010-09-07 2012-04-04 腾讯科技(深圳)有限公司 展示微博客人页的方法和装置
CN102739663A (zh) * 2012-06-18 2012-10-17 奇智软件(北京)有限公司 网页检测方法与扫描引擎

Also Published As

Publication number Publication date
CN104102673A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
CN104102673B (zh) 一种网页状态监控方法和装置
CN102891897B (zh) 网页分享方法和服务器及客户端
Nath Madscope: Characterizing mobile in-app targeted ads
AU2011200024B2 (en) Method and System of Measuring and Recording User Data in a Communications Network
AU2011352038B2 (en) Online privacy management
US20190034937A1 (en) Problem Prediction Method and System
US10362051B2 (en) Site independent methods for deriving contextually tailored security vulnerability corrections for hardening solution stacks
CN108683666A (zh) 一种网页识别方法及装置
US20140317749A9 (en) Systems and methods for automating blind detection of computational vulnerabilities
CN101222349A (zh) 收集web用户行为及性能数据的方法及系统
CN111552854A (zh) 一种网页数据抓取方法、装置、存储介质和设备
CN109446075B (zh) 一种接口测试方法及装置
US20180131779A1 (en) Recording And Triggering Web And Native Mobile Application Events With Mapped Data Fields
Putri et al. Performance testing analysis on web application: Study case student admission web system
US20190386909A1 (en) Method and program product for a private performance network with geographical load simulation
CN106202368A (zh) 预加载方法和装置
CN107526748B (zh) 一种识别用户点击行为的方法和设备
DE112012004301T5 (de) Erzeugen einer vorhersagenden Datenstruktur
CN102684925B (zh) 互联网访问来源信息的获取方法和装置
CN108306918A (zh) 一种基于程序动态分析的网站访问信息自动获取方法
CN104702439B (zh) 监控网络节点的方法和装置
WO2021104387A1 (zh) 一种自动识别有效数据采集模块的方法和系统
RU2669172C2 (ru) Способ и система мониторинга согласованности веб-сайта
US20080162687A1 (en) Data acquisition system and method
Vaughan et al. A new approach to web co‐link analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant