CN115509851A - 页面监控方法、装置及设备 - Google Patents

页面监控方法、装置及设备 Download PDF

Info

Publication number
CN115509851A
CN115509851A CN202211114277.8A CN202211114277A CN115509851A CN 115509851 A CN115509851 A CN 115509851A CN 202211114277 A CN202211114277 A CN 202211114277A CN 115509851 A CN115509851 A CN 115509851A
Authority
CN
China
Prior art keywords
page
data
log data
loading
resource loading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211114277.8A
Other languages
English (en)
Inventor
庄元丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inaco Technology Beijing Co ltd
Original Assignee
Inaco Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inaco Technology Beijing Co ltd filed Critical Inaco Technology Beijing Co ltd
Priority to CN202211114277.8A priority Critical patent/CN115509851A/zh
Publication of CN115509851A publication Critical patent/CN115509851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种页面监控方法、装置及设备,涉及计算机技术领域,能够将页面使用过程中发现的问题及时上报后台,便于后续的页面优化,提高用户的页面体验较差。其中方法包括:在用户使用页面的过程中,收集页面中产生的资源加载数据;将页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对日志数据进行清洗,得到不同页面性能指标的标准日志数据;利用指令系统中预先设置的性能阈值对标准日志数据中的每条日志数据进行比较;若比较结果符合异常报警条件,则将存在异常的标准日志数据同步至报警系统。

Description

页面监控方法、装置及设备
技术领域
本申请涉及网络技术领域,尤其是涉及到一种页面监控方法、装置及设备。
背景技术
随着公司的发展,会出现许多前端项目,这些项目的表现形式可能是一个网页,也可能是一个小程序。为了便于前端项目可以快速在实际项目中使用,可以设计一个监控工具,当前端项目上线之后,通过监控工具在用户反馈之前发现页面出现的问题,并且使用设定的通讯方式进行报警。而在开发测试阶段,开发人员也需要有一个页面的“体检报告”,来提前发现一些问题并优化。
通常情况下,可以由研发人员设计通用收集脚本,并将通用收集脚本引入到页面上,该脚本会在用户操作页面的过程中,主动收集页面的一些数据进行上报,上报之后,这些数据会被存储到一个数据库,并通过后台进行查看。然而,随着页面的复杂度不断增加,出现问题的情况也随之增加,使得页面中产生大量的异常数据,很难短时间内将页面使用过程中发现的问题及时上报后台,影响后续的页面优化,导致用户的页面体验较差。
发明内容
有鉴于此,本申请提供了一种页面监控方法、装置及设备,主要目的在于解决现有技术中由于页面中产生大量的异常数据,很难短时间内将页面使用过程中发现的问题及时上报后台,影响后续的页面优化,导致用户的页面体验较差问题。
根据本申请的第一个方面,提供了一种页面监控方法,该方法包括:
在用户使用页面的过程中,收集页面中产生的资源加载数据,所述资源加载数据包括围绕不同页面性能指标提供的日志数据;
将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据;
利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较;
若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
进一步地,所述在用户使用页面的过程中,收集页面中产生的资源加载数据,具体包括:
在用户使用页面的过程中,获取页面资源文件以及浏览器提供的加载完成接口,利用所述页面加载完成接口提取页面中资源加载的各个时间节点;
根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数;
将围绕不同页面性能指标计算得到的页面参数生成日志数据。
进一步地,所述根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数,具体包括:
根据所述页面中资源加载的各个时间点,确定页面中资源加载的请求时间点和完成时间点;
计算所述页面中资源加载的请求时间点和完成时间点所形成的时间差,将所述时间差作为资源加载的请求时间来捕获页面加载过程中围绕不同页面性能指标覆盖的页面数据;
利用所述页面加载过程中围绕不同页面性能指标覆盖的页面数据,计算所述页面资源文件在加载过程中执行的页面参数。
进一步地,所述方法还包括:
在用户使用页面的过程中,获取浏览器提供的错误监听接口,利用所述错误监听接口提取页面中资源加载产生的异常信息,将所述页面中产生的资源加载数据与所述页面中产生的资源加载数据同步上传至控制平台。
进一步地,所述指令系统中配置有针对日志数据进行清洗的规则匹配表,所述规则匹配表中记录有适用于不同页面性能指标的规则匹配指令,所述将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据,具体包括:
获取日志数据对应的文件信息,利用所述日志数据对应的文件信息将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台;
在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令;
针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
进一步地,所述文件信息包括文件路径和文件名称,所述定时脚本系统根据文件路径以相同时间间隔同步相应文件名称的资源加载数据,在所述在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令之前,所述方法还包括:
获取相邻时间间隔同步得到的资源加载数据,利用预设算法对相邻时间间隔同步得到的资源加载数据执行差异化对比,筛选出符合更新条件的资源加载数据。
进一步地,所述规则匹配指令为多个正则表达式形成的规则组合,所述针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据,具体包括:
针对页面性能指标,遍历规则组合中的每条正则表达式,使用每条正则表达式对所述日志数据进行匹配,确定日志数据中存在相应表达不规范的数据位置;
利用所述日志数据中存在相应表达不规范的数据位置对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
根据本申请的第二个方面,提供了一种页面监控装置,该装置包括:
收集模块,用于在用户使用页面的过程中,收集页面中产生的资源加载数据,所述资源加载数据包括围绕不同页面性能指标提供的日志数据;
清洗模块,用于将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的性能规则指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据;
比较模块,用于利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较;
报警模块,用于若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
进一步地,所述收集模块,具体用于在用户使用页面的过程中,获取页面资源文件以及浏览器提供的加载完成接口,利用所述页面加载完成接口提取页面中资源加载的各个时间节点;根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数;将围绕不同页面性能指标计算得到的页面参数生成日志数据。
进一步地,所述收集模块,具体还用于根据所述页面中资源加载的各个时间点,确定页面中资源加载的请求时间点和完成时间点;计算所述页面中资源加载的请求时间点和完成时间点所形成的时间差,将所述时间差作为资源加载的请求时间来捕获页面加载过程中围绕不同页面性能指标覆盖的页面数据;利用所述页面加载过程中围绕不同页面性能指标覆盖的页面数据,计算所述页面资源文件在加载过程中执行的页面参数。
进一步地,所述收集模块,具体还用于在用户使用页面的过程中,获取浏览器提供的错误监听接口,利用所述错误监听接口提取页面中资源加载产生的异常信息,将所述页面中产生的资源加载数据与所述页面中产生的资源加载数据同步上传至控制平台。
进一步地,所述指令系统中配置有针对日志数据进行清洗的规则匹配表,所述规则匹配表中记录有适用于不同页面性能指标的规则匹配指令,所述清洗模块,具体用于获取日志数据对应的文件信息,利用所述日志数据对应的文件信息将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台;在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令;针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
进一步地,所述文件信息包括文件路径和文件名称,所述定时脚本系统根据文件路径以相同时间间隔同步相应文件名称的资源加载数据,所述清洗模块,具体还用于在所述在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令之前,获取相邻时间间隔同步得到的资源加载数据,利用预设算法对相邻时间间隔同步得到的资源加载数据执行差异化对比,筛选出符合更新条件的资源加载数据。
进一步地,所述规则匹配指令为多个正则表达式形成的规则组合,所述清洗模块,具体还用于针对页面性能指标,遍历规则组合中的每条正则表达式,使用每条正则表达式对所述日志数据进行匹配,确定日志数据中存在相应表达不规范的数据位置;利用所述日志数据中存在相应表达不规范的数据位置对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
根据本申请的第三个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述页面监控方法。
根据本申请的第四方面,提供了一种页面监控设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述页面监控方法。
借由上述技术方案,本申请提供的一种页面监控方法、装置及设备,通过在用户使用页面的过程中,收集页面中产生的资源加载数据,这里资源加载数据包括围绕不同页面性能指标提供的日志数据,然后将页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对日志数据进行清洗,得到不同页面性能指标的标准日志数据,利用指令系统中预先设置的性能阈值对标准日志数据中的每条日志数据进行比较,若比较结果符合异常报警条件,则将存在异常的标准日志数据同步至报警系统,以使得报警系统对存在异常的标准日志数进行页面性能指标分析。与目前使用通用收集脚本的方式进行页面监控的方式相比,本申请通过指令系统来灵活配置数据清洗规则,可以针对各种非正常访问页面引起的异常数据进行清洗,让日志数据保持有效性,从而在短时间内将页面使用过程中发现的问题及时上报后台,有利于后续的页面优化,提高用户的页面体验。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种页面监控方法的流程示意图;
图2示出了本申请实施例提供的另一种页面监控方法的流程示意图;
图3示出了本申请实施例提供的资源加载数据上传的流程框图;
图4示出了本申请实施例提供的一种页面监控装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
目前现有方式由研发人员设计通用收集脚本,主动收集页面的一些数据进行上报,该方式在页面中产生大量异常数据的情况下,很难短时间内将页面使用过程中发现的问题及时上报后台,影响后续的页面优化,导致用户的页面体验较差。为了解决该问题,本实施例提供了一种页面监控方法,如图1所示,该方法可应用于访问权限控制平台,包括如下步骤:
101、在用户使用页面的过程中,收集页面中产生的资源加载数据。
受到网络速度的影响,用户设备在访问应用页面的过程中可能会出现加载困难,甚至白屏等情况,为了更好提升应用性能,需要对资源内容进行不同方面的优化,对用户而言,页面优化可以让应用的响应速度加快,加载更加迅速,进而带来更好的使用体验。对于网页服务商而言,前端优化能够减少页面请求数量,页面加载所占带宽,有效的节省资源。其中,资源加载数据包括围绕不同页面性能指标提供的日志数据,这里页面性能指标按照粒度等级划分可以包括以下两类,一类是针对页面优化级别的性能指标,另一类是针对代码级别优化的性能指标,本发明实例主要是针对页面优化级别的性能指标,主要针对页面加载环节,包括HTTP请求数、脚本的无阻塞加载、内联脚本的位置优化等内容。这里日志数据包括资源数据、性能数据、页面异常数据以及开发人员主动上报的数据。
具体在用户使用页面的过程中,浏览器获取页面时,会对页面中每一个对象(包括脚本文件、样式表、图片文件等)发出一个HTTP请求,网页性能参数的获取方法会以数组形式返回一个网页性能参数列表,返回的数组中记录有请求的时间统计信息,数组中成员数量为相应的请求数量。通常情况下,页面性能通常需要监控的性能指标包括服务状态、HTTP响应码、总响应时间、DNS解析时间、连接时间、服务器响应时间、平均下载速度、页面大小变化等指标。
在一种实时方式中,页面中产生的资源加载数据可以表现为页面性能指标的分析报表,具体可以将页面对接到页面性能分析的自动化工具,利用页面性能分析的自动化工具在用户使用页面过程中对不同页面性能指标进行测试,生成页面性能指标的分析报表,进而根据页面性能指标的分析报表。具体应用时可以通过启动页面对接的项目脚本,来使用自动化工具来生成页面性能的分析报表,这里可以是页面触发操作时直接启动页面对接的项目脚本,还可以是定时启动页面对接的项目脚本
对于本发明实施例的执行主体可以为页面监控装置,可以利用监控得到的页面性能指标,该页面性能指标为用户使用网页产生的性能数据,通过分析页面性能指标可以了解用户真实的使用场景,进而更有针对性的优化页面,提高用户页面的使用体验。
102、将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据。
本发明实施例中,定时脚本系统可以按照一定时间间隔触发脚本运行,执行数据同步程序,例如,每间隔10分钟触发同步指令,执行程序以将页面中产生的资源加载数据同步至控制平台,控制平台可以对接上文中不同性能分析的自动化工具,直接获取到自动化分析工具生成的页面性能指标的分析报表。考虑到日志数据在收集过程会存在重复信息或者错误信息,这里可以在执行数据同步的过程中使用数据清洗的方式对日志数据进行重新审查和校验,以删除日志数据中重复新、纠正存在的错误,并提供日志数据的一致性。
具体地,日志数据的清洗过程主要是发现并纠正数据中可识别的非标准情况,包括检查数据一致性,处理无效值和缺失值等。这里可以针对不同的页面性能指标设置清洗数据的规则匹配指令,在设置清洗数据的规则匹配指令时,考虑到不同页面性能指标可能在不符合要求的地方不相同,这里可以针对性能指标存在的数据特性设置清洗的匹配规则指令,例如,A页面性能指标可能存在数据重复的位置和数据重复的方式上有特色,这里可以针对A页面性能指标在相应数据重复位置和数据重复的方式上设置清洗的规则匹配指令,进一步使用规则匹配指令来检测日志数据中是否存在相应的非标准情况,如果存在,通过设置的清洗方式将日志数据处理为标准日志数据。
103、利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较。
可以理解的是,标准日志数据中的每条日志数据为干净的性能指标数据,而干净的性能指标数据中不会存不合理的数值情况,进一步使用干净的性能指标数据进行异常分析,具体可以在指令系统中预先设置不同页面性能指标的性能阈值,该性能阈值通常为页面发生异常情况才会产生,该性能阈值可以是页面报警数量,还可以是页面请求数量,具体性能阈值可根据实际情况进行设置。
具体地,通过对标准日志数据中每条日志数据与页面发生异常情况进行比对,查询标准日志数据中命中设定页面发生异常情况的数量,利用性能阈值来判断页面发生异常情况的数量是否到达性能阈值,如果是,则说明页面达到了报警条件,例如,页面产生报错4次以上,设定为页面发生异常情况,页面请求在预设时间内超过10条,设定为页面发生异常情况。
104、若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
若比较结果符合异常报警条件,说明页面可能存在不安全因素或者可能页面发生故障,进一步将页面发生异常的情况发送到报警系统,具体报警可以通过设置组件进行提示,提示形式包括但不局限于软件报警、邮件报警、电话报警等。
这里报警系统可以设置特定的自动化脚本针对异常的标准日志数据进行自动修复,还可以设置人工修复,具体自动修复可以是删除异常数据,重新启动页面数据,具体人工修复可以是修改页面错误脚本,添加页面插件等。
在实际应用场景中,页面中收集到资源加载数据后,可以先存储到日志平台,进一步通过日志平台中云服务的同步功能,定时将日志数据同步到云存储平台中,之后通过定时脚本将云存储平台中的日志数据同步到控制平台,控制平台再通过指令系统中预先存储的正则匹配指令进行数据清洗,将清洗后的日志数据与指令系统中预先配置好的阈值进行比较,若符合异常报警条件,则将异常的日志数据同步到报警系统。
本申请实施例提供的页面监控方法,通过在用户使用页面的过程中,收集页面中产生的资源加载数据,这里资源加载数据包括围绕不同页面性能指标提供的日志数据,然后将页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对日志数据进行清洗,得到不同页面性能指标的标准日志数据,利用指令系统中预先设置的性能阈值对标准日志数据中的每条日志数据进行比较,若比较结果符合异常报警条件,则将存在异常的标准日志数据同步至报警系统,以使得报警系统对存在异常的标准日志数进行页面性能指标分析。与目前使用通用收集脚本的方式进行页面监控的方式相比,本申请通过指令系统来灵活配置数据清洗规则,可以针对各种非正常访问页面引起的异常数据进行清洗,让日志数据保持有效性,从而在短时间内将页面使用过程中发现的问题及时上报后台,有利于后续的页面优化,提高用户的页面体验。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,本实施例提供了另一种页面监控方法,如图2所示,该方法包括:
201、在用户使用页面的过程中,获取页面资源文件以及浏览器提供的加载完成接口,利用所述页面加载完成接口提取页面中资源加载的各个时间节点。
其中,页面资源文件包括不同类型的资源文件,具体可以包括图片资源、层叠样式表资源、脚本资源、字体资源、混合资源、可缩放矢量图形文件资源等,通常情况下,考虑到页面访问过程的安全性,浏览器会提供一种白名单制度,开发者通过配置告诉浏览器各类外部资源的加载和执行限制,来提高页面的安全性,常用的方式就是通过限制非信任脚本的加载来预防攻击,可通过两种方式来配置,一种是在页面请求头中添加安全政策的字段来限制,另一种是通过标签来设置。
具体用户在使用页面的过程中,首先会输入网址,浏览器查找域名的IP地址,浏览器给web服务器发送一个HTTP请求,网站服务的永久重定向响应,浏览器跟踪重定向地址,在发送另一个获取请求,服务器处理请求,并接收到获取请求后返回响应,浏览器显示HTML,浏览器发送请求,以获取嵌入在HTML中的对象,在浏览器显示HTML时,会主要到需要获取其他地址内容的标签,这时,浏览器会发送一个获取请求来重新获得这些资源文件,这里可以通过浏览器提供的加载完成接口进行获取。
具体页面中资源加载的各个时间节点可以包括但不局限于以下几种:白屏时间,即用户从打开页面开始到页面开始有东西呈现位置,首屏时间,即用户浏览首屏内所有内容都呈现出来所花费的时间,用户可操作时间,即用户可以进行正常点击、输入等操作,默认可以统计dom时间,通常会在这时候绑定事件操作,总下载时间,即页面内所有资源都加载完成并呈现出来所花的时间,即页面onload的时间。
进一步地,考虑到页面使用过程中可能会直接触发到异常信息的情况发生,具体地,还可以在用户使用页面的过程中,获取浏览器提供的错误监听接口,利用错误监听接口提取页面中资源加载产生的异常信息,将页面中产生的资源加载数据与页面中产生的资源加载数据同步上传至控制平台。
202、根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数。
通常情况下,页面中发生DOM节点的插入、删除、尺寸的变化、隐藏或者显示都可能引起布局的变化,进而产生页面参数,而整个加载过程会涉及到大量的请求,具体地,可以根据页面中资源加载的各个时间点,确定页面中资源加载的请求时间点和完成时间点,然后计算页面中资源加载的请求时间点和完成时间点所形成的时间差,将时间差作为资源加载的请求时间来捕获页面加载过程中围绕不同页面性能指标覆盖的页面数据,利用页面加载过程中围绕不同页面性能指标覆盖的页面数据,计算页面资源文件在加载过程中执行的页面参数。
在实际应用中,页面在全部加载完成后会触发页面加载完成接口,该接口会提供系列资源加载数据,包括图片和页面内容等资源,还会给出不同的时间点,包括TCP请求时间点、查询时间点、TCP连接时间点、DNS查询时间点、DOM构建时间点等,这些时间点以时间戳的形式被存储在资源文件中,这里每一个资源中都会对应有请求时间点和完成时间点,进一步可以使用请求时间点和完成时间点之差计算页面参数,该页面参数相当于资源加载的耗时,还可以通过对资源加载的耗时进行排序,从而对页面加载情况进行评分。
203、将围绕不同页面性能指标计算得到的页面参数生成日志数据。
当客户端需要分析应用程序中页面执行的效果,需要生成日志数据,这里可以针对围绕不同页面性能指标计算得到的页面参数设置文件存储路径,该存储路径可以自定义,并根据文件存储路径将页面参数存储至相应的文件位置,具体可以在客户端默认或者配置的路径下保留一个性能日志文件的最大字节,在页面参数文件的大小等于最大字节时,将在默认或配置的路径下生成相应的日志数据。
例如,最大字节=“52000000”,在页面参数文件的大小等于52000000时,将在默认或配置路径下生成日志数据。
204、获取日志数据对应的文件信息,利用所述日志数据对应的文件信息将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台。
其中,文件信息包括文件路径和文件名称,具体定时脚本系统通过线程定时读取文件路径对应的日志数据,每次通过定时脚本执行同步指令时,定时脚本系统会根据文件路径以相同时间间隔同步相应文件名称的资源加载数据,进而将资源加载数据同步至控制平台。
在实际应用场景中,资源加载数据上传的流程如图3所示,图3在获取到页面资源文件后,会将页面资源文件通过日志服务形成日志数据后,通过定时脚本系统的方式上传到控制平台中。
205、在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令。
可以理解的是,在日志数据分析的时候,日志数据是杂乱无章的,或者说日志数据并不是理想的,需要对日志数据进行清洗,主要是针对日志数据中的字符串进行处理,例如,针对ip地址中非标准格式进行过滤,将访问时间中转换为标准格式,由于不同页面性能指标具有不同的格式的限制,这里规则匹配表中会预先设置不同页面性能指标的规则匹配指令,该规则匹配指令可以表现为正则表达式的形式,具体可以是日志数据的信息、时间、符号或者名称等,例如,规则匹配指令为提取日志数据中的时间信息,后面的信息合并,默认以空格为分隔符,此时,日志数据中的时间会被提取出,其余的信息合并后中间加入空格。
进一步地,在日志数据同步到控制平台的过程中,通常会短时间内同步大量日志数据,例如,同步1分钟内产生的所有日志数据,这些日志数据会被合并到一个文档中,并以时间戳来命名文件,同理,通过定时脚本系统同步数据也会短时间下载多个文档,这里考虑到数据同步过程中的数据变更,对于数据同步在控制平台和本地客户端都有所修改的情况下,可以通过算法获取新增文档,具体地可以通过获取相邻时间间隔同步得到的资源加载数据,利用预设算法对相邻时间间隔同步得到的资源加载数据执行差异化对比,筛选出符合更新条件的资源加载数据。这里预设算法可以使用diff算法,diff算法可以利用修改事件作为增量机制,在每次diff时记录下当前diff的时间戳,这样本地客户端下次diff时,会带上上次diff时返回的时间戳,这样就能增量获取到一段时间内的变更记录。
206、针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
其中,规则匹配指令为多个正则表达式形成的规则组合,该规则组合可以是并列的规则,还可以是递进的规则,并列的规则以同步的方式执行以对日志数据进行清洗,具体可以同步执行所有的匹配规则指令,递进的规则以递进的方式执行对日志数据进行清洗,具体可以在命中某一匹配规则指令后,在执行下一个匹配规则指令。
具体可以在指令系统会配置一系列的正则规则,将这些正则规则以列表的形式存储到数据库中,形成规则匹配列表,当数据同步的过程中,可以对日志数据中每一条数据执行一次规则匹配,遍历规则匹配列表,全部匹配一次,如果未匹配成果才会对数据进行存储,如果匹配成果,那么说明日志数据中存在不合理的地方,需要对日志数据进行清洗。这里可以针对页面性能指标,遍历规则组合中的每条正则表达式,使用每条正则表达式对所述日志数据进行匹配,确定日志数据中存在相应表达不规范的数据位置,并利用日志数据中存在相应表达不规范的数据位置对日志数据进行清洗,得到页面性能指标的标准日志数据,具体清洗可以是删除相应表达不规范的日志数据,还可以是使用其他数据替换相应表达不规范的日志数据。
207、利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较。
208、若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
进一步的,作为图1-图2方法的具体实现,本申请实施例提供了一种应页面监控装置,如图4所示,该装置包括:收集模块31、清洗模块32、比较模块33、报警模块34。
收集模块31,用于在用户使用页面的过程中,收集页面中产生的资源加载数据,所述资源加载数据包括围绕不同页面性能指标提供的日志数据;
清洗模块32,用于将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的性能规则指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据;
比较模块33,用于利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较;
报警模块34,用于若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
本发明实施例提供的页面监控装置,通过在用户使用页面的过程中,收集页面中产生的资源加载数据,这里资源加载数据包括围绕不同页面性能指标提供的日志数据,然后将页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对日志数据进行清洗,得到不同页面性能指标的标准日志数据,利用指令系统中预先设置的性能阈值对标准日志数据中的每条日志数据进行比较,若比较结果符合异常报警条件,则将存在异常的标准日志数据同步至报警系统,以使得报警系统对存在异常的标准日志数进行页面性能指标分析。与目前使用通用收集脚本的方式进行页面监控的方式相比,本申请通过指令系统来灵活配置数据清洗规则,可以针对各种非正常访问页面引起的异常数据进行清洗,让日志数据保持有效性,从而在短时间内将页面使用过程中发现的问题及时上报后台,有利于后续的页面优化,提高用户的页面体验。
在具体的应用场景中,所述收集模块31,具体用于在用户使用页面的过程中,获取页面资源文件以及浏览器提供的加载完成接口,利用所述页面加载完成接口提取页面中资源加载的各个时间节点;根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数;将围绕不同页面性能指标计算得到的页面参数生成日志数据。
在具体的应用场景中,所述收集模块31,具体还用于根据所述页面中资源加载的各个时间点,确定页面中资源加载的请求时间点和完成时间点;计算所述页面中资源加载的请求时间点和完成时间点所形成的时间差,将所述时间差作为资源加载的请求时间来捕获页面加载过程中围绕不同页面性能指标覆盖的页面数据;利用所述页面加载过程中围绕不同页面性能指标覆盖的页面数据,计算所述页面资源文件在加载过程中执行的页面参数。
在具体的应用场景中,所述收集模块31,具体还用于在用户使用页面的过程中,获取浏览器提供的错误监听接口,利用所述错误监听接口提取页面中资源加载产生的异常信息,将所述页面中产生的资源加载数据与所述页面中产生的资源加载数据同步上传至控制平台。
在具体的应用场景中,所述指令系统中配置有针对日志数据进行清洗的规则匹配表,所述规则匹配表中记录有适用于不同页面性能指标的规则匹配指令,所述清洗模块32,具体用于获取日志数据对应的文件信息,利用所述日志数据对应的文件信息将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台;在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令;针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
在具体的应用场景中,所述文件信息包括文件路径和文件名称,所述定时脚本系统根据文件路径以相同时间间隔同步相应文件名称的资源加载数据,所述清洗模块32,具体还用于在所述在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令之前,获取相邻时间间隔同步得到的资源加载数据,利用预设算法对相邻时间间隔同步得到的资源加载数据执行差异化对比,筛选出符合更新条件的资源加载数据。
在具体的应用场景中,所述规则匹配指令为多个正则表达式形成的规则组合,所述清洗模块32,具体还用于针对页面性能指标,遍历规则组合中的每条正则表达式,使用每条正则表达式对所述日志数据进行匹配,确定日志数据中存在相应表达不规范的数据位置;利用所述日志数据中存在相应表达不规范的数据位置对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
需要说明的是,本实施例提供的一种可应用于访问权限控制平台侧的页面监控装置所涉及各功能单元的其它相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1-图2所示的方法,以及图4所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种服务端实体设备,具体可以为计算机,服务器,或者其他网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1-图2所示的页面监控方法。
可选的,上述实体设备都还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种页面监控的实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述店铺搜索信息处理的实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,与目前现有方式相比,本申请通过指令系统来灵活配置数据清洗规则,可以针对各种非正常访问页面引起的异常数据进行清洗,让日志数据保持有效性,从而在短时间内将页面使用过程中发现的问题及时上报后台,有利于后续的页面优化,提高用户的页面体验。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种页面监控方法,其特征在于,包括:
在用户使用页面的过程中,收集页面中产生的资源加载数据,所述资源加载数据包括围绕不同页面性能指标提供的日志数据;
将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据;
利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较;
若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
2.根据权利要求1所述的方法,其特征在于,所述在用户使用页面的过程中,收集页面中产生的资源加载数据,具体包括:
在用户使用页面的过程中,获取页面资源文件以及浏览器提供的加载完成接口,利用所述页面加载完成接口提取页面中资源加载的各个时间节点;
根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数;
将围绕不同页面性能指标计算得到的页面参数生成日志数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述页面中资源加载的各个时间节点,围绕不同页面性能指标计算所述页面资源文件在加载过程中执行的页面参数,具体包括:
根据所述页面中资源加载的各个时间点,确定页面中资源加载的请求时间点和完成时间点;
计算所述页面中资源加载的请求时间点和完成时间点所形成的时间差,将所述时间差作为资源加载的请求时间来捕获页面加载过程中围绕不同页面性能指标覆盖的页面数据;
利用所述页面加载过程中围绕不同页面性能指标覆盖的页面数据,计算所述页面资源文件在加载过程中执行的页面参数。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在用户使用页面的过程中,获取浏览器提供的错误监听接口,利用所述错误监听接口提取页面中资源加载产生的异常信息,将所述页面中产生的资源加载数据与所述页面中产生的资源加载数据同步上传至控制平台。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述指令系统中配置有针对日志数据进行清洗的规则匹配表,所述规则匹配表中记录有适用于不同页面性能指标的规则匹配指令,所述将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的规则匹配指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据,具体包括:
获取日志数据对应的文件信息,利用所述日志数据对应的文件信息将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台;
在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令;
针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
6.根据权利要求5所述的方法,其特征在于,所述文件信息包括文件路径和文件名称,所述定时脚本系统根据文件路径以相同时间间隔同步相应文件名称的资源加载数据,在所述在数据同步的过程中,从所述规则匹配表中确定出适用于不同页面性能指标的规则匹配指令之前,所述方法还包括:
获取相邻时间间隔同步得到的资源加载数据,利用预设算法对相邻时间间隔同步得到的资源加载数据执行差异化对比,筛选出符合更新条件的资源加载数据。
7.根据权利要求5所述的方法,其特征在于,所述规则匹配指令为多个正则表达式形成的规则组合,所述针对页面性能指标,使用相应页面性能指标的规则匹配指令对所述日志数据进行清洗,得到页面性能指标的标准日志数据,具体包括:
针对页面性能指标,遍历规则组合中的每条正则表达式,使用每条正则表达式对所述日志数据进行匹配,确定日志数据中存在相应表达不规范的数据位置;
利用所述日志数据中存在相应表达不规范的数据位置对所述日志数据进行清洗,得到页面性能指标的标准日志数据。
8.一种页面监控装置,其特征在于,包括:
收集模块,用于在用户使用页面的过程中,收集页面中产生的资源加载数据,所述资源加载数据包括围绕不同页面性能指标提供的日志数据;
清洗模块,用于将所述页面中产生的资源加载数据通过定时脚本系统同步至控制平台,在数据同步的过程中针对不同页面性能指标使用指令系统中相应的性能规则指令对所述日志数据进行清洗,得到不同页面性能指标的标准日志数据;
比较模块,用于利用指令系统中预先设置的性能阈值对所述标准日志数据中的每条日志数据进行比较;
报警模块,用于若比较结果符合异常报警条件,则提取存在异常的标准日志数据,将所述存在异常的标准日志数据同步至报警系统,以使得所述报警系统对所述存在异常的标准日志数进行处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211114277.8A 2022-09-14 2022-09-14 页面监控方法、装置及设备 Pending CN115509851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211114277.8A CN115509851A (zh) 2022-09-14 2022-09-14 页面监控方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211114277.8A CN115509851A (zh) 2022-09-14 2022-09-14 页面监控方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115509851A true CN115509851A (zh) 2022-12-23

Family

ID=84504943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211114277.8A Pending CN115509851A (zh) 2022-09-14 2022-09-14 页面监控方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115509851A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688262A (zh) * 2024-02-02 2024-03-12 荣耀终端有限公司 数据处理方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599244A (zh) * 2016-12-20 2017-04-26 飞狐信息技术(天津)有限公司 通用的原始日志清洗装置及方法
CN110704414A (zh) * 2019-10-08 2020-01-17 加和(北京)信息科技有限公司 一种日志数据的清洗方法、装置、电子设备和存储介质
CN112100036A (zh) * 2020-11-05 2020-12-18 广州市玄武无线科技股份有限公司 一种基于PaaS前端引擎的页面性能监控方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599244A (zh) * 2016-12-20 2017-04-26 飞狐信息技术(天津)有限公司 通用的原始日志清洗装置及方法
CN110704414A (zh) * 2019-10-08 2020-01-17 加和(北京)信息科技有限公司 一种日志数据的清洗方法、装置、电子设备和存储介质
CN112100036A (zh) * 2020-11-05 2020-12-18 广州市玄武无线科技股份有限公司 一种基于PaaS前端引擎的页面性能监控方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688262A (zh) * 2024-02-02 2024-03-12 荣耀终端有限公司 数据处理方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110245078B (zh) 一种软件的压力测试方法、装置、存储介质和服务器
CN111522922B (zh) 日志信息查询方法、装置、存储介质及计算机设备
US20160055044A1 (en) Fault analysis method, fault analysis system, and storage medium
WO2017081865A1 (ja) ログ分析システム、方法、及び記録媒体
JP6823265B2 (ja) 分析装置、分析システム、分析方法および分析プログラム
CN107547490B (zh) 一种扫描器识别方法、装置及系统
CN107085549B (zh) 故障信息生成的方法和装置
CN108206769B (zh) 过滤网络质量告警的方法、装置、设备和介质
EP3864516A1 (en) Veto-based model for measuring product health
CN111865987B (zh) 作弊流量处理的方法、装置、设备及存储介质
KR101266930B1 (ko) 포렌식 감사 데이터 시각화 시스템
EP4187389A1 (en) Method and system for application performance neutral, network bandwidth optimized capturing of resources used during the interaction of user with a web-based application to create monitoring data for an accurate visual reconstruction of the user experience
CN113238917A (zh) 前端性能监控方法、装置、设备及存储介质
CN115509851A (zh) 页面监控方法、装置及设备
CA2789936C (en) Identification of sequential browsing operations
CN112564957B (zh) 虚拟网元的运行数据采集方法及装置
US9645877B2 (en) Monitoring apparatus, monitoring method, and recording medium
CN110011845B (zh) 日志采集方法及系统
JP2004348640A (ja) ネットワーク管理システム及びネットワーク管理方法
US9749211B2 (en) Detecting network-application service failures
CN113900902A (zh) 日志处理方法、装置、电子设备及存储介质
JP5686001B2 (ja) 情報処理装置、メッセージ切分け方法およびメッセージ切分けプログラム
CN109684220A (zh) 一种基于事件回放的浏览器兼容性分析方法
CN111510432A (zh) 网站异常的安全监测方法、装置及设备
CN109800168A (zh) 软件的操作事件数据的测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221223