CN111859231A - 一种网页监控方法、设备、装置和计算机存储介质 - Google Patents
一种网页监控方法、设备、装置和计算机存储介质 Download PDFInfo
- Publication number
- CN111859231A CN111859231A CN201910365306.XA CN201910365306A CN111859231A CN 111859231 A CN111859231 A CN 111859231A CN 201910365306 A CN201910365306 A CN 201910365306A CN 111859231 A CN111859231 A CN 111859231A
- Authority
- CN
- China
- Prior art keywords
- webpage
- information
- monitoring
- web page
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种网页监控方法、设备、装置和计算机存储介质,该方法包括:获取第一网页的基线版本的网页数据信息,所述网页数据信息至少包括DOM树;获取所述第一网页当前的网页数据信息;将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;根据所述对比结果,对所述第一网页进行监控。如此,可以基于网页数据信息进行对比,从而实现网页监控;而网页数据信息包括DOM树,DOM树可以反映网页的整体数据,因而,与相关的仅对网页的部分图片、文字或链接进行简单监控的方案相比,本发明实施例得到的网页监控信息更加全面。
Description
技术领域
本发明涉及网页监控领域,特别涉及一种网页监控方法、设备、装置和计算机存储介质。
背景技术
目前,随着互联网技术的不断发展,网页监控技术也变得越来越重要;然而,在相关的网页监控方案中,只能针对网页的部分图片、文字或链接进行简单监控,因而,获取的网页监控信息不全面。
发明内容
本发明实施例期望提供一种网页监控方法、设备、装置和计算机存储介质。
本发明的技术方案是这样实现的:
本发明实施例提供了一种网页监控方法,所述方法包括:
获取第一网页的基线版本的网页数据信息,所述网页数据信息至少包括文档对象模型(Document Object Model,DOM)树;
获取所述第一网页当前的网页数据信息;
将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;
根据所述对比结果,对所述第一网页进行监控。
上述方案中,所述将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,包括:
将所述第一网页当前的DOM树的节点信息与所述第一网页的基线版本的DOM树的节点信息进行对比;
其中,所述DOM树的节点信息中每个DOM节点的信息包括以下至少一项:标签、属性、样式、相对浏览器视窗的位置。
上述方案中,所述将所述第一网页当前的DOM树的节点信息与所述第一网页的基线版本的DOM树的节点信息进行对比,包括:
将所述第一网页当前的DOM树的节点信息进行封装,得到第一封装数据;将所述第一网页的基线版本的DOM树的节点信息进行封装,得到第二封装数据;将所述第一封装数据和所述第二封装数据进行对比。
上述方案中,所述根据所述对比结果,对所述第一网页进行监控,包括:
在所述对比结果表示所述第一网页的DOM树的节点信息发生变化时,生成截屏对比文件;根据所述截屏对比文件,对所述第一网页进行监控;其中,
所述截屏对比文件至少用于表示:所述第一网页的DOM树的节点信息发生的变化的类型和相对浏览器视窗的位置。
上述方案中,所述第一网页的DOM树的节点信息发生的变化的类型包括以下至少一种:DOM节点增加、DOM节点删除、任意一个DOM节点的信息发生变化。
上述方案中,所述方法还包括:
所述第一网页的DOM树的节点信息发生的变化满足预设告警条件时,生成告警信息。
上述方案中,所述方法还包括:
对所述告警信息执行以下至少一项操作:展示、分类、分析。
本发明实施例还提供了一种网页监控设备,所述设备包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,所述处理器用于运行所述计算机程序时,执行上述任意一种网页监控方法。
本发明实施例还提供了一种网页监控装置,所述装置包括:获取模块、对比模块和监控模块;其中,
获取模块,用于获取第一网页的基线版本的网页数据信息、以及所述第一网页当前的网页数据信息;所述网页数据信息至少包括DOM树;
对比模块,用于将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;
监控模块,用于根据所述对比结果,对所述第一网页进行监控。
本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一种网页监控方法。
本发明实施例中,获取第一网页的基线版本的网页数据信息,所述网页数据信息至少包括DOM树;获取所述第一网页当前的网页数据信息;将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;根据所述对比结果,对所述第一网页进行监控。如此,可以基于网页数据信息进行对比,从而实现网页监控;而网页数据信息至少包括DOM树,DOM树中每个DOM节点的信息可以包括:标签、属性、样式和相对浏览器视窗的位置,因而DOM树可以反映网页的整体数据,与相关的仅对网页的部分图片、文字或链接进行简单监控的方案相比,本发明实施例得到的网页监控信息更加全面。
附图说明
图1为本发明实施例的网页监控方法的流程图;
图2为本发明实施例的DOM结构数据的一个示例图;
图3为本发明实施例的告警数据的一个示例图;
图4为本发明实施例的一个告警图片的示意图;
图5为本发明实施例的告警邮件的效果示意图;
图6为本发明实施例的网页监控设备的结构示意图;
图7为本发明实施例的一种网页监控装置的结构示意图;
图8为本发明实施例中基于另一种网页监控装置进行网页监控的示意图。
具体实施方式
以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本发明,并不用于限定本发明。另外,以下所提供的实施例是用于实施本发明的部分实施例,而非提供实施本发明的全部实施例,在不冲突的情况下,本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本发明实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如,本发明实施例提供的网页监控方法包含了一系列的步骤,但是本发明实施例提供的网页监控方法不限于所记载的步骤,同样地,本发明实施例提供的网页监控装置包括了一系列模块,但是本发明实施例提供的装置不限于包括所明确记载的模块,还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
需要说明的是,以上仅仅是对本发明实施例的应用场景进行举例说明场景,本发明实施例的应用场景并不限定于上述记载的应用场景。
在相关技术中,随着互联网技术的不断发展,各种网站如雨后春笋般涌现,各类公司的业务也开始向线上发展,随之产生了大量的网页开发需求,但是开发人员的水平参差不齐,会导致开发的网页出现问题;例如,会导致网络运营商的各种劫持,或线上网页所处环境的不稳定;进一步地,由于线上的网页状况越来越不受控制,越来越多的用户投诉也随之产生。
同时,虽然上线前测试人员会人工对开发人员的网页进行反复测试,但是上线后如果再由人力人工地去发现线上的一些问题,则会导致费时费力且收益微小;针对该问题,需要一套自动化的机制去监控每个线上网页的状态,从而及时针对线上网页出现的问题进行告警。
另外,由于开发人员的职业素养问题,可能会存在一些违规上线网页的情况,所以也需要对每次的网页更改或上线进行监控,以防止违规上线网页导致的重大问题;进一步地,随着一个网站的不断更新换代,也会希望针对每次重大改版或者重大功能升级的网页进行收藏,比如需要收藏一些周年庆的网页历史页面回顾。
在相关技术中,提出了两种线上网页监控方案;其中,第一种网页监控方案是,首先通过网站模拟用户操作等初始化操作,获取指定网页的文字、图片等内容并进行分析存储,然后定时对网页进行访问,获取网页当前内容并与初始化时保存的内容进行对比,一旦内容比较差异度大于设定的阈值则会产生告警,并通过短信的方式通知该网页设定的维护人员。
第二种网页监控方案是,通过监听网页客户端上每一个线上网页的发布按钮点击事件,并调用服务器提供的应用程序编程接口(Application Programming Interface,API)收集线上网页的相关配置信息,将每一个线上网页的相关配置信息存储于任务队列中;然后根据线上网页应用地址下载网页得到网页整体文件,再利用正则匹配规则,从网页整体文件中得到网页内所有的链接标签统一资源定位符(Uniform Resource Locator,URL)地址和图片标签URL地址;最后在后台服务器中向每一个URL地址发送访问请求,根据访问请求的响应结果判断每一个URL地址是否为有效链接,如不是则触发报警。
上述两种线上网页监控方案存在以下缺点:1)只能局部针对网页中几个图片、文字、链接进行简单监控,而不能针对网页整体的数据进行监控,而实际需求可能是监控网页的整体数据;2)告警方式过于简单,具体地说,仅仅只有短信文字提醒,并不能直观地向收到告警的人呈现网页出现的问题;3)只能实现对网页的监控和告警,并没有进一步挖掘网页监控信息的其它价值。
针对上述技术问题,提出以下各实施例
第一实施例
本发明实施例提出了一种网页监控方法,本发明实施例中,并不对监控的网页的种类进行限定。
图1为本发明实施例的网页监控方法的流程图,如图1所示,该流程可以包括:
步骤101:获取第一网页的基线版本的网页数据信息,所述网页数据信息至少包括DOM树。
这里,基线版本可以表示第一网页的一个稳定版本,在实际实施时,可以将第一网页的上线初始时刻的版本作为基线版本,也可以在网页开发人员根据告警信息修改第一网页信息后,将修改信息后的第一网页的版本作为基线版本。
在上述网页数据信息中,DOM树包括多个DOM节点,DOM树的节点信息中每个DOM节点的信息包括以下至少一项:标签、属性、样式、相对浏览器视窗的位置。在实际应用中,可以采用JavaScript技术,遍历每个DOM节点,以获取到每个DOM节点的信息。
在实际应用中,在获取第一网页的基线版本的网页数据信息,还可以存储第一网页的基线版本的网页数据信息,以便于后续调用。
步骤102:获取所述第一网页当前的网页数据信息。
这里,第一网页当前的网页数据信息可以是:在第一网页的基线版本发布后由用户交互操作得出网页数据信息;网页数据信息的含义已经在上述记载的内容中作出说明,这里不再赘述。
作为一种实施方式,用户交互操作可以是真实的用户操作,也可以是模拟的用户操作。
在实际应用中,在获取第一网页的当前的网页数据信息,还可以存储第一网页的当前的网页数据信息,以便于后续调用。
步骤103:将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果。
步骤104:根据所述对比结果,对所述第一网页进行监控。
在实际应用中,步骤101至步骤104可以由处理器等实现,上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal ProcessingDevice,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出,本发明实施例中,可以基于网页的网页数据信息进行对比,从而实现网页监控;而网页数据信息至少包括DOM树,DOM树中每个DOM节点的信息可以包括:标签、属性、样式和相对浏览器视窗的位置,因而DOM树可以反映网页的整体数据,与相关的仅对网页的部分图片、文字或链接进行简单监控的方案相比,本发明实施例得到的网页监控信息更加全面。
对于将第一网页当前的网页数据信息与第一网页的基线版本的网页数据信息进行对比的实现方式,示例性地,可以将第一网页当前的DOM树的节点信息与第一网页的基线版本的DOM树的节点信息进行对比。
可选地,可以将第一网页当前的DOM树的节点信息进行封装,得到第一封装数据;将第一网页的基线版本的DOM树的节点信息进行封装,得到第二封装数据;将第一封装数据和第二封装数据进行对比。
在实际应用中,可以利用JavaScript技术对网页的DOM树的节点信息进行封装;也就是说,第一封装数据和第二封装数据均可以为JavaScript对象。
本发明实施例中,由于DOM树的节点信息中每个DOM节点的信息可以包括以下至少一项:标签、属性、样式和相对浏览器视窗的位置,因而,针对第一网页,通过对DOM树的节点信息的对比,可以得出更加全面的网页监控信息。
对于根据对比结果,对第一网页进行监控的实现方式,示例性地,可以在上述对比结果表示第一网页的DOM树的节点信息发生变化时,生成截屏对比文件;根据截屏对比文件,对第一网页进行监控;其中,截屏对比文件至少用于表示:第一网页的DOM树的节点信息发生的变化的类型和相对浏览器视窗的位置。
本发明实施例中,截屏对比文件可以通过图片对比的形式进行呈现,例如,可以呈现为第一网页当前的截屏图片以及第一网页的基线版本的截屏图片。
这里,第一网页的DOM树的节点信息发生的变化的类型包括以下至少一种:DOM节点增加、DOM节点删除、任意一个DOM节点的信息发生变化。
需要说明的是,上述对比结果表示第一网页的DOM树的节点信息未发生变化时,则可以返回至步骤102,以重新获取第一网页当前的网页数据信息。
实际应用中,可以在DOM树的节点信息发生变化时,将发生变化的DOM节点的信息以及节点信息变化的类型记录到指定的节点变化数组中;然后,可以判断节点变化数组的长度,当节点变化数组的长度大于0时,则说明第一网页的DOM树的节点信息发生变化;当节点变化数组的长度等于0时,则说明第一网页的DOM树的节点信息未发生变化。
进一步地,在确定第一网页的DOM树的节点信息发生变化时,还可以判断第一网页的DOM树的节点信息发生的变化是否满足预设告警条件;当第一网页的DOM树的节点信息发生的变化满足预设告警条件时,生成告警信息;当第一网页的DOM树的节点信息发生的变化不满足预设告警条件时,则可以返回至步骤102,以重新获取第一网页当前的网页数据信息。
本发明实施例中,并不是在第一网页的DOM树的节点信息发生变化时,就生成告警信息,而是只有在第一网页的DOM树的节点信息发生的变化满足预设告警条件时,才生成告警信息,如此,可以降低用户处理告警信息的次数,提升网页监控的效率。
这里,告警信息可以包括以下至少一种信息:以文本形式表示的上述对比结果、以图片形式表示的上述对比结果、以声音形式表示的上述对比结果;例如,以图片形式表示的上述对比结果可以包括上述截屏对比文件。
可以看出,通过生成告警信息,可以使用户及时发现第一网页出现的异常,从而,便于对第一网页进行修复。
进一步地,在生成告警信息后,还可以将告警信息发送至用户终端,例如,可以将告警信息以短信或邮件的方式发送至用户终端;在告警信息包括以文本形式表示的上述对比结果和以图片形式表示的上述对比结果时,可以将告警信息以图文并茂的方式推送至用户终端,如此,可以直观地向用户展示告警信息。
进一步地,在生成告警信息后,还可以对告警信息执行以下至少一项操作:展示、分类、分析。
实际应用中,对于展示告警信息的实现方式,示例性地,上述处理器在生成告警信息后,可以控制显示器展示告警信息,也可以控制扬声器发出声音告警信息(以声音形式表示的上述对比结果)。
本发明实施例中,通过对告警信息的展示,可以使用户及时发现第一网页出现的异常,从而,便于对第一网页进行修复。通过对告警信息的分类和分析,便于挖掘出告警信息中的数据价值,例如,可以利用分类后得出的历史告警信息产生其它数据价值。
第二实施例
为了能够更加体现本发明的目的,在本发明第一实施例的基础上,进行进一步的举例说明。
本发明第二实施例中,充分考虑网页数据的特点基础上,为解决相关技术中线上网页监控的问题,针对网页告警信息进行分类,可以提高用户满意度,并探索告警信息的数据价值。
本发明第二实施例中,网页监控方法可以包括以下几个过程:数据配置、监控程序控制、监控程序数据采集和分析、告警信息推送、告警信息处理分类和各分类历史告警信息展示;下面分别对上述几个过程进行说明。
1)数据配置
数据配置过程的主要作用是生成监控配置信息,这里的监控配置信息包括但不限于:将需要监控的网页的名称、描述、URL、监控程序运行浏览器环境、屏幕高宽、邮件组(表示接收邮件的至少一个邮箱)、模拟用户操作数据、短信组(表示接收短信的至少一个用户终端)、监控周期、告警阈值等;这里,模拟用户操作数据可以包括模拟用户的人机交互操作、模拟用户的延时处理网页对象等数据;在生成监控配置信息后,可以将监控配置信息录入数据库,以生成对应的监控脚本。
在实际应用中,可以利用监控配置程序将监控配置信息录入数据库,以自动生成监控脚本;进一步地,监控配置程序还可以将更新后的所有监控网页的信息、监控进程的状态以及相关的操作展示在监控系统页面列表,供用户查看详情,并进行进程控制。
2)监控程序控制
监控程序控制过程的主要作用是提供监控进程的启动、暂停、删除等功能接口,下面对监控程序控制过程进行具体说明。
在接收到用户的启动操作指令后,自动将监控进程的状态改为进行中;实际实施时,用户可以在服务器后台根据对应的监控脚本启动监控进程。
在接收到用户的暂停操作指令,或网页的DOM树的节点信息发生的变化满足预设告警条件时,可以利用程序在服务器后台自动暂停对应的监控进程,将对应的监控进程的状态改为已暂停。
在监控进程的状态处于未启动或暂停时,如果接收的用户的删除操作指令,可以利用程序自动删除对应监控脚本和对应的监控进程,并修改数据库中的配置信息为已删除,在监控系统页面列表展示更新后的所有监控网页的信息、监控进程的状态以及相关的操作。
3)监控程序数据采集和分析
监控程序数据采集和分析过程的目的是,利用开源的无头浏览器(HeadlessBrowser)模拟各种浏览器环境打开网页,然后通过模拟用户交互或延时等操作,收集到对应的网页数据信息,生成JSON数据文件,然后和基线版本的JSON数据文件进行分析对比,在满足一定条件时生成告警信息;示例性地,无头浏览器可以是PhantomJS等浏览器。
下面对监控程序数据采集和分析过程进行具体说明。
监控进程可以根据监控配置信息中的监控程序运行浏览器环境和屏幕高宽等参数,并利用一些开源的无头浏览器,模拟各种浏览器环境打开相应的网页。
监控进程可以根据监控配置信息中的模拟用户操作数据模拟用户交互,例如,可以模拟登陆、点击下一页等操作。
当网页被加载时,可以创建对应网页的文档对象模型,即DOM树;通过JavaScript技术,可以遍历每个DOM树的节点;而需要监控的每个DOM节点内容由标签、属性、样式和相对浏览器视窗的位置构成;具体实施时,通过JavaScript提供的获得计算样式(getComputedStyle)方法,可以获取DOM节点的样式;通过JavaScript提供的获得属性(getAttribute)方法,可以获取DOM节点的属性;通过JavaScript提供的标签名(tagName)方法,可以获取DOM节点的标签;通过JavaScript提供的获得相对视窗位置(getBoundingClientRect)方法,可以获取DOM节点相对浏览器视窗的位置,然后可以根据遍历获取到的DOM结构数据(即由各个DOM节点的信息组成的数据)封装成一个JavaScript对象;图2为本发明实施例的DOM结构数据的一个示例图,图2中,name字段、attr字段、style字段、child字段、rect字段分别表示DOM节点的标签、属性、样式、子节点、相对浏览器视窗的位置。
监控进程可以将当前网页对应JavaScript对象,与已保存的网页基线版本对应的JavaScript对象进行分析对比;对比的方式可以是遍历JavaScript对象的节点,先根据节点的身份标识(Identification,ID)或className属性判断节点是否新增或删除,再对比判断节点样式和属性是否变化;如果该节点是新增或删除或有变化,则将该节点本身的数据和变化的类型(如新增、删除、样式、属性和内容)记录到指定的节点变化数组中,且停止对该节点子节点的遍历。
判断节点变化数组的长度,如果大于0,则对当前网页截屏,保存当前网页对应的JavaScript对象到指定的JSON文件,并保存当前时间;同时,可以结合节点变化数组、当前时间和基线版本的网页截屏时间进行数据处理,得出描述告警数据的JavaScript对象,并把处理后的告警数据保存到指定的JSON文件;图3为本发明实施例的告警数据的一个示例图,如图3所示,node字段表示节点变化数组,diff字段表示整个网页变化的汇总信息。
将当前网页截屏图片与网页基线版本的截屏图片渲染进diff模板页面中,并遍历节点变化数组,如果是删除的节点则根据节点的相对浏览器视窗的位置数据来确定偏移量(可以用于确定删除的节点在模板页面中的位置),然后在模板页面中网页基线版本的截屏图片的相应位置的方格加上第一种背景色;如果是新增的节点或者样式属性变化的节点则根据节点的相对浏览器视窗的位置数据来确定偏移量(可以用于确定新增的节点或样式属性变化的节点在模板页面中的位置),然后在模板页面中当前网页的截屏图片的相应位置的方格加上第二种背景色;这里,第一种背景色和第二种背景色为预设的两种不同的背景色,第一种背景色对应节点的删除,第二种背景色对应节点的新增或样式属性变化。
进一步地,还可以将描述告警数据的JavaScript对象中的汇总描述、时间数据渲染进diff模板页面中;最后,可以自动对diff模板页面截屏,作为告警图片;图4为本发明实施例的一个告警图片的示意图。
在实际应用中,还可以将保存的告警图片存入告警信息数据的JSON文件中。
本发明实施例中,并不是在每次生成告警数据就发出告警信息,而是在每次得出描述告警数据的JavaScript对象时,将告警次数的值加1;当告警次数的值大于或等于监控配置信息中告警阈值时,说明网页的DOM树的节点信息发生的变化满足预设告警条件,此时,可以认为监控的网页出现异常,自动暂停监控进程,生成并发出告警信息。在具体实施时,以告警邮件或告警短信的方式向用户发送告警信息,告警信息的内容可以是:以上生成的告警图片和告警信息JSON文件中的数据。
可以看出,与相关技术中简单的针对页面上的几个图片、文字、链接的简单监控的方案相比,本发明实施例可以利用收集到的所有网页数据信息进行网页监控告警,网页监控方案更全面、更自动化,也更容易实施,这是因为只要简单的监控配置操作即可进行网页监控,对专业性要求也更低。
4)告警信息推送
告警信息推送过程的作用是,将告警信息通过短信、邮件、网页3种形式图文并茂的展现给用户;下面对告警信息推送过程进行示例性说明。
在生成告警信息时,可以根据监控配置信息中的邮件组内容,以告警邮件的方式向用户发送告警信息;图5为本发明实施例的告警邮件的效果示意图。
在生成告警信息时,可以根据监控配置信息中的短信组内容,以告警短信的方式向用户发送告警信息。
在生成告警信息时,用户可以通过短信和邮件中的URL或者直接在线上查看到详细的告警信息。
可以看出,与相关技术中针对网页监控只进行简单的文字提醒相比,本发明实施例可以充分利用收集到的告警信息、以及带有颜色标记(例如高亮颜色标记)的截屏对比文件,更清晰地向接收者明确告警信息的详细内容以及对应的网页更改位置。
5)告警信息处理分类
告警信息处理分类过程的作用包括:(1)将告警信息进行制作标签,从而实现告警信息的分类细分;(2)根据用户的重启操作指令,重启之前暂停的监控进程;下面对告警信息处理分类过程进行具体说明。
根据用户的处理告警操作指令,弹出处理弹窗;在弹窗中用户可以选择告警分类(至少选一个),分类包括正常功能迭代(基线版本)、代码问题、违规上线、网络环境、运营商劫持、忽略(丢弃)等;根据用户对告警信息的处理,将网页对应的截屏、JSON文件以及和基线版本的对比截屏图片、告警信息JSON文件存储到每个分类文件夹下,然后,自动重启监控进程。
6)各分类历史告警信息展示
各分类历史告警信息展示过程的作用是,将历史告警信息以分类的形式展示出来,便于挖掘一些告警信息的数据价值;下面对各分类历史告警信息展示过程进行具体说明。
在告警信息历史展示页面,根据用户点击不同的分类标签操作,获取该分类下的所有历史告警信息,以时间为维度,展示出历史告警信息中对应截屏文件、JSON数据、基线版本的对比截屏、以及告警信息JSON数据。
通过告警信息代码问题和违规上线分类,可以总结一些共性问题,并选其中几个历史告警信息作为历史教训和分享培训的题材。
通过对网页基线版本的分类,可以总结每次的功能升级,甚至做一些周年庆、改版的总结,配上对应的截屏图片,可以使用户直观地获取网页的各个基线版本。
可以看出,与相关的网页监控方案相比,本发明实施例可以挖掘告警信息的数据价值,例如,可以发现一次重大的违规上线,或可以收藏一次成功上线的页面展示效果,甚至实现网页变更历史记录的功能等等,因而,可以使告警信息变得更有价值。
第三实施例
基于前述实施例提出的网页监控方法的基础上,本发明第三实施例提出了一种网页监控设备。
图6为本发明实施例的网页监控设备的结构示意图,如图6所示,该设备包括处理器601和用于存储能够在处理器上运行的计算机程序的存储器602,处理器601用于运行所述计算机程序时,执行上述任意一种网页监控方法。
在实际应用中,上述存储器602可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的第一存储器的组合,并向处理器601提供指令和数据。
上述处理器601可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本发明实施例不作具体限定。
第四实施例
基于前述实施例提出的一种网页监控方法,本发明第四实施例提出了一种网页监控装置。
图7为本发明实施例的一种网页监控装置的结构示意图,如图7所示,该装置包括:获取模块701、对比模块702和监控模块703;其中,
获取模块701,用于获取第一网页的基线版本的网页数据信息、以及所述第一网页当前的网页数据信息;所述网页数据信息至少包括DOM树;
对比模块702,用于将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;
监控模块703,用于根据所述对比结果,对所述第一网页进行监控。
示例性地,所述对比模块702,具体用于将所述第一网页当前的DOM树的节点信息与所述第一网页的基线版本的DOM树的节点信息进行对比;其中,所述DOM树的节点信息中每个DOM节点的信息包括以下至少一项:标签、属性、样式、相对浏览器视窗的位置。
示例性地,所述对比模块702,具体用于将所述第一网页当前的DOM树的节点信息进行封装,得到第一封装数据;将所述第一网页的基线版本的DOM树的节点信息进行封装,得到第二封装数据;将所述第一封装数据和所述第二封装数据进行对比。
示例性地,所述监控模块703,具体用于在所述对比结果表示所述第一网页的DOM树的节点信息发生变化时,生成截屏对比文件;根据所述截屏对比文件,对所述第一网页进行监控;其中,所述截屏对比文件至少用于表示:所述第一网页的DOM树的节点信息发生的变化的类型和相对浏览器视窗的位置。
示例性地,所述第一网页的DOM树的节点信息发生的变化的类型包括以下至少一种:DOM节点增加、DOM节点删除、任意一个DOM节点的信息发生变化。
示例性地,所述监控模块703,还用于所述第一网页的DOM树的节点信息发生的变化满足预设告警条件时,生成告警信息。
示例性地,所述监控模块703,还用于对所述告警信息执行以下至少一项操作:展示、分类、分析。
在实际应用中,所述获取模块701、对比模块702和监控模块703均可由位于网页监控装置中的处理器实现;上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
第五实施例
基于前述实施例提出的一种网页监控方法,本发明第五实施例还提出了另一种网页监控装置。
图8为本发明实施例中基于另一种网页监控装置进行网页监控的示意图,该装置可以包括数据配置模块801、监控程序控制模块802、监控程序数据采集和分析模块803、告警信息推送模块804、告警信息处理分类模块805和各分类历史告警信息展示模块806;其中,
数据配置模块801,用于实现前述实施例记载的数据配置过程;监控程序控制模块802,用于实现前述实施例记载的监控程序控制过程;监控程序数据采集和分析模块803,用于实现前述实施例记载的监控程序数据采集和分析过程;告警信息推送模块804,用于实现前述实施例记载的告警信息推送过程;告警信息处理分类模块805,用于实现前述实施例记载的告警信息处理分类过程;各分类历史告警信息展示模块806,用于实现前述实施例记载的各分类历史告警信息展示过程。
这里,基于上述另一种网页监控装置进行网页监控的具体过程已经在本发明第二实施例中作出说明,这里不再赘述。
在实际应用中,所述数据配置模块801、监控程序控制模块802、监控程序数据采集和分析模块803、告警信息推送模块804和告警信息处理分类模块805均可由位于网页监控装置中的处理器实现;上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种;各分类历史告警信息展示模块806可由位于网页监控装置中的处理器、显示器、扬声器等实现。
第六实施例
本发明第六实施例提出了一种计算机存储介质,计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现本发明前述实施例中任意一种网页监控方法。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种网页监控方法,其特征在于,所述方法包括:
获取第一网页的基线版本的网页数据信息,所述网页数据信息至少包括文档对象模型DOM树;
获取所述第一网页当前的网页数据信息;
将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;
根据所述对比结果,对所述第一网页进行监控。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,包括:
将所述第一网页当前的DOM树的节点信息与所述第一网页的基线版本的DOM树的节点信息进行对比;
其中,所述DOM树的节点信息中每个DOM节点的信息包括以下至少一项:标签、属性、样式、相对浏览器视窗的位置。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一网页当前的DOM树的节点信息与所述第一网页的基线版本的DOM树的节点信息进行对比,包括:
将所述第一网页当前的DOM树的节点信息进行封装,得到第一封装数据;将所述第一网页的基线版本的DOM树的节点信息进行封装,得到第二封装数据;将所述第一封装数据和所述第二封装数据进行对比。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述对比结果,对所述第一网页进行监控,包括:
在所述对比结果表示所述第一网页的DOM树的节点信息发生变化时,生成截屏对比文件;根据所述截屏对比文件,对所述第一网页进行监控;其中,
所述截屏对比文件至少用于表示:所述第一网页的DOM树的节点信息发生的变化的类型和相对浏览器视窗的位置。
5.根据权利要求4所述的方法,其特征在于,所述第一网页的DOM树的节点信息发生的变化的类型包括以下至少一种:DOM节点增加、DOM节点删除、任意一个DOM节点的信息发生变化。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述第一网页的DOM树的节点信息发生的变化满足预设告警条件时,生成告警信息。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述告警信息执行以下至少一项操作:展示、分类、分析。
8.一种网页监控设备,其特征在于,所述设备包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,所述处理器用于运行所述计算机程序时,执行上述权利要求1至7任一项所述的方法。
9.一种网页监控装置,其特征在于,所述装置包括:获取模块、对比模块和监控模块;其中,
获取模块,用于获取第一网页的基线版本的网页数据信息、以及所述第一网页当前的网页数据信息;所述网页数据信息至少包括文档对象模型DOM树;
对比模块,用于将所述第一网页当前的网页数据信息与所述第一网页的基线版本的网页数据信息进行对比,得到对比结果;
监控模块,用于根据所述对比结果,对所述第一网页进行监控。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910365306.XA CN111859231A (zh) | 2019-04-30 | 2019-04-30 | 一种网页监控方法、设备、装置和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910365306.XA CN111859231A (zh) | 2019-04-30 | 2019-04-30 | 一种网页监控方法、设备、装置和计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111859231A true CN111859231A (zh) | 2020-10-30 |
Family
ID=72965747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910365306.XA Pending CN111859231A (zh) | 2019-04-30 | 2019-04-30 | 一种网页监控方法、设备、装置和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111859231A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113722191A (zh) * | 2021-11-04 | 2021-11-30 | 企查查科技有限公司 | 页面监视方法、装置、设备和计算机可读存储介质 |
CN113922980A (zh) * | 2021-08-23 | 2022-01-11 | 北京天融信网络安全技术有限公司 | 一种基于http探测信息的dns监测方法、设备及存储介质 |
CN113987318A (zh) * | 2021-11-01 | 2022-01-28 | 盐城金堤科技有限公司 | 页面监控方法、装置、设备及计算机存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255088A (zh) * | 2017-07-07 | 2019-01-22 | 普天信息技术有限公司 | 网页数据监测方法和设备 |
-
2019
- 2019-04-30 CN CN201910365306.XA patent/CN111859231A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255088A (zh) * | 2017-07-07 | 2019-01-22 | 普天信息技术有限公司 | 网页数据监测方法和设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113922980A (zh) * | 2021-08-23 | 2022-01-11 | 北京天融信网络安全技术有限公司 | 一种基于http探测信息的dns监测方法、设备及存储介质 |
CN113987318A (zh) * | 2021-11-01 | 2022-01-28 | 盐城金堤科技有限公司 | 页面监控方法、装置、设备及计算机存储介质 |
CN113987318B (zh) * | 2021-11-01 | 2024-03-12 | 盐城天眼察微科技有限公司 | 页面监控方法、装置、设备及计算机存储介质 |
CN113722191A (zh) * | 2021-11-04 | 2021-11-30 | 企查查科技有限公司 | 页面监视方法、装置、设备和计算机可读存储介质 |
CN113722191B (zh) * | 2021-11-04 | 2022-03-04 | 企查查科技有限公司 | 页面监视方法、装置、设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6320471B2 (ja) | リロードイベントに基づくウェブリソースの対話性分析 | |
US10671469B2 (en) | High-volume distributed script error handling | |
CA2797451C (en) | System for identifying and inferring web session events | |
US9419987B2 (en) | Method and device for prompting information about e-mail | |
CN107241229B (zh) | 一种基于接口测试工具的业务监控方法及装置 | |
CN111859231A (zh) | 一种网页监控方法、设备、装置和计算机存储介质 | |
JP2018045403A (ja) | 異常検知システム及び異常検知方法 | |
CN104834588B (zh) | 检测常驻式跨站脚本漏洞的方法和装置 | |
US11509677B2 (en) | Automatically detecting vulnerability remediations and regressions | |
CN113254320A (zh) | 记录用户网页操作行为的方法及装置 | |
CN113987393A (zh) | 一种网页操作记录器、系统、装置及方法 | |
CN114036501A (zh) | 一种app的检测方法、系统、装置、设备及存储介质 | |
US10706108B2 (en) | Field name recommendation | |
CN107026854B (zh) | 漏洞验证方法及装置 | |
CN113934617A (zh) | 一种数据处理方法、装置、设备和存储介质 | |
RU2669172C2 (ru) | Способ и система мониторинга согласованности веб-сайта | |
CN107368399A (zh) | 一种线上网页监控方法及系统 | |
US11726982B1 (en) | Continuous execution engine algorithm | |
CN113515715B (zh) | 埋点事件编码的生成方法、处理方法及相关设备 | |
CN115017429A (zh) | 一种链接对象的剪存方法、装置、系统及存储介质 | |
CN112835793B (zh) | 一种网页调试方法及装置 | |
CN109409833B (zh) | 一种缺陷处理方法与装置 | |
CN110347301B (zh) | 界面异常处理方法、装置和设备 | |
CN117194155A (zh) | 一种自动化性能压测方法、装置及介质 | |
CN112784186A (zh) | 一种链接地址打开方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |