CN109739725A - 基于浏览器的监控方法、装置、系统及存储介质 - Google Patents

基于浏览器的监控方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN109739725A
CN109739725A CN201811635525.7A CN201811635525A CN109739725A CN 109739725 A CN109739725 A CN 109739725A CN 201811635525 A CN201811635525 A CN 201811635525A CN 109739725 A CN109739725 A CN 109739725A
Authority
CN
China
Prior art keywords
page
information
time
browser
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811635525.7A
Other languages
English (en)
Inventor
高驰涛
郎志
侯胜良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudwise Beijing Technology Co Ltd
Original Assignee
Cloudwise Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudwise Beijing Technology Co Ltd filed Critical Cloudwise Beijing Technology Co Ltd
Priority to CN201811635525.7A priority Critical patent/CN109739725A/zh
Publication of CN109739725A publication Critical patent/CN109739725A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明提供的基于浏览器的监控方法、装置、系统及存储介质,应用于运维监控领域,该方法,包括:接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;根据所述域名信息和所述端口信息生成页面标识信息;建立所述页面标识信息与所述页面检测数据之间的对应关系并存储至存储引擎;在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。解决了现有技术中页面加载缓慢,但很难掌握缓慢的根本原因的问题。

Description

基于浏览器的监控方法、装置、系统及存储介质
技术领域
本发明涉及一种运维监控领域,尤其涉及一种基于浏览器的监控方法、装置、系统及存储介质。
背景技术
运维监控是一系列IT管理产品的统称,它所包含的产品功能强大、易于使用、解决方案齐全,可一站式满足用户的各种IT管理需求。
越来越多的客户都在考虑或采纳业务集中的方案。然而业务系统集中后,不仅增加运行维护的工作强度,而且会使集中的系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源的使用状况,及时发现可能导致系统故障的隐患,实现系统运营保障的关键。
页面加载缓慢是浏览器端用户体验差最常见现象,但IT人员往往很难掌握缓慢的根本原因,也难以获得突出的优化效果。
发明内容
针对现有技术中页面加载缓慢是浏览器端用户体验差最常见现象,但IT人员往往很难掌握缓慢的根本原因的问题,本发明提供了一种基于浏览器的监控方法、装置、系统及存储介质。
第一方面,本发明实施例提供了一种基于浏览器的监控方法,包括:接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;根据所述域名信息和所述端口信息生成页面标识信息;建立所述页面标识信息与所述页面检测数据之间的对应关系并存储至存储引擎;在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
在其中一个可选的实施方式中,所述根据所述域名信息和所述端口信息生成页面标识信息,包括:将所述域名信息与所述端口信息连接成字符串;对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
在其中一个可选的实施方式中,所述方法还包括:还包括:在接收页面监测数据时,获取探针所在终端的出口IP信息;根据所述出口IP信息确定所述出口IP所对应的IP段;根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息。
在其中一个可选的实施方式中,所述探针以JS代码的形式添加到网站Html文档中。
在其中一个可选的实施例中,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
第二方面,本发明实施例还提供了基于浏览器的监控装置,包括:
接收单元,用于接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;
生成单元,用于根据所述接收单元接收到的所述域名信息和所述端口信息生成页面标识信息;
执行单元,用于建立所述生成单元生成的页面标识信息与所述接收单元接收的页面检测数据之间的对应关系并存储至存储引擎;
分析显示单元,用于在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
在其中一个可选的实施方式中,所述生成单元,包括:
处理模块,用于将所述域名信息与所述端口信息连接成字符串;
计算模块,用于对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
在其中一个可选的实施方式中,所述系统,还包括:
获取单元,用于在接收页面监测数据时,获取探针所在终端的出口IP信息;
确定单元,用于根据所述获取单元获取的出口IP信息确定所述出口IP所对应的IP段;根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息。
在其中一个可选的实施方式中,所述探针以JS代码的形式添加到网站Html文档中。
在其中一个可选的实施方式中,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;所述接收单元,还包括指标信息生成单元,用于:
通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;
通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;
通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;
通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
第三方面,本发明实施例提供了一种基于浏览器的监测系统,包括:存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述的浏览器的监测方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述的浏览器的监测方法。
本发明提供的基于浏览器的监控方法、装置、系统及存储介质,可以在不修改其他任何页面代码的前提上,只通过页面注入的探针即可完成技术指标的采集和分析。被监测页面可以通过可视化的形式在界面中显示并可根据页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面,从而准确定位错误信息,提升错误修复准确率和效率,降低业务损失;可以针对终端类型和操作系统作出性能优化改进,提升用户体验,提升产品价值。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的一种基于浏览器的监控方法流程示意图;
图2为本发明实施例提供的一种基于浏览器的监控装置的结构示意图;
图3为本发明又一实施例提供的一种基于浏览器的监控装置的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明通过深入追踪用户端Web页面加载过程以及Ajax交互性能来掌握在不同用户网络环境、不同浏览器、不同地域条件下的性能表现。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解:
统一资源定位符(Uniform Resource Locator,URL):对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。
统一资源标识符(Uniform Resource Identifier,或URI):是一个用于标识某一互联网资源名称的字符串。该种标识允许用户对任何(包括本地和互联网)的资源通过特定的协议进行交互操作。URI由包括确定语法和相关协议的方案所定义。Web上可用的每种资源-HTML文档、图像、视频片段、程序等-由一个通用资源标识符(Uniform ResourceIdentifier,简称"URI")进行定位。
JavaScript:是属于网络的脚本语言,被网页用来改进设计、验证表单、检测浏览器、创建cookies,以及更多的应用。JavaScript是一种脚本语言(脚本语言是一种轻量级的编程语言),由数行可执行计算机代码组成,通常被直接嵌入HTML页面,被设计用来向HTML页面添加交互行为。
ETL:是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
存储引擎:MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术,你能够获得额外的速度或者功能,从而改善你的应用的整体功能。
Ajax:即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。Ajax=异步JavaScript和XML(标准通用标记语言的子集),是一种用于创建快速动态网页的技术,是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术,通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。
图1为本发明实施例提供的一种基于浏览器的监控方法流程示意图。如图1所示,该方法,包括:
步骤101、接收页面监测数据。
在本实施例中,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI。其中,所述被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI通过当前被访问页面(即被检测页面)的URL分析获得。
在一优选的实施例中,所述探针以JS(JavaScript)代码的形式添加到网站Html文档中。
在Web应用或移动端H5页面中,通过注入一小段JS到被监测的页面,这段JS将引用远端的另一个JS文件,继而重写当前浏览器中的XmlHttpRequest对象、Error对象,获取当前浏览器中的Performance对象,UserAgent,将获取到的数据发送至分析平台,平台进行分析。使用者无需作出任何其他代码改动,只需引入一小段JS即可完成真实用户体验监测与分析。
步骤102、根据所述域名信息和所述端口信息生成页面标识信息。
在一实施例中,所述根据所述域名信息和所述端口信息生成页面标识信息,包括:将所述域名信息与所述端口信息连接成字符串;对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
步骤103、建立所述页面标识信息与所述页面检测数据之间的对应关系并存储至存储引擎。
在一实施例中,当得到的页面标识信息与已监测过的页面标识信息进行比对,如果在已监测过的页面标识信息列表中不存在当前得到的页面标识信息时,使用该唯一的页面标识信息对应的域名信息及端口信息下列表中进行自创,同时建立该唯一的页面标识信息与页面监测数据之间的对应的关系,即将页面标识信息、URI以及其他采集到的技术指标一起送至存储引擎。
对应于步骤102中关于页面标识信息的形式,当所述页面标识信息为哈希(Hash)运算值时,所述存储引擎为Hash存储引擎。由于Hash索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位。
值得说明的是,存储引擎还可以是B树存储引擎或者LSM树(Log-StructuredMerge Tree)存储引擎本申请并不对存储引擎的结构进行限定。本申请仅仅是以Hash存储引擎作为示例,且由于Hash存储引擎的优点,将Hash存储引擎作为一个优选方案。
在一实施例中,本实施例中所涉及的信息数据通过ETL技术来进行处理。
步骤104、在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
在其中一个可选的实施例中,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
为了方便本领域技术人员更好的理解本,本发明实施例中以示例性的形式枚举可视化的形式,包括但不限于以下几种:
1.1概览页面:在概览页面展示数据指标卡(包括访问数、总IP数、总页面数、浏览量、JS错误率、JS错误页面数以及AJAX错误数),页面性能分解趋势图(包括首字节时间、HTML下载时间、DOM处理时间以及页面渲染时间)、Apdex指标、吞吐率、JS错误TOP5(Web页面中发生次数最多的5种JS错误类型及其变化趋势)、AJAX请求响应时间(Web页面的AJAX请求的吞吐量、响应时间及变化趋势)、终端用户响应时间、浏览器饼图(用户查看Web页面时使用的浏览器及各浏览器所占的百分比)、运营商饼图(用户查看Web页面时使用的运营商及各运营商所占的百分比)、受访页面TOP5列表(被访问次数最多的5个Web页面及其吞吐量和平局耗时,以及产生最多的5个AJAX请求及其响应时间和请求次数)、JS错误页面TOP5列表(发生JS错误最多的5个Web页面及对应的JS错误类型和错误数量)
1.2地图页面展示概览和列表页面。
1.2.1地图-概览页面:通过中国地图和世界地图展示不同地区的响应时间、吞吐率、JS错误、AJAX请求数等性能数据以及按城市排序,响应时间趋势TOP5、吞吐率趋势TOP5、JS错误趋势TOP5、AJAX请求数TOP5。
1.2.2地图-列表页面:展示Web前端页面在各地区的响应时间、首字节时间、页面渲染时间、吞吐率、JS错误数和AJAX请求数。
1.3Ajax页面展示:响应时间TOP5趋势、错误类型TOP5趋势、POST数据TOP5趋势、接受数据TOP5趋势以及Ajax请求列表(包括请求地址、响应时间以及请求次数)。
1.4网页页面展示概览和列表页面。
1.4.1网页-概览页面展示:网页响应趋势图TOP5、网页吞吐率趋势图TOP5、网页JS错误趋势图TOP5、网页AJAX请求数图(TOP5)、网页响应时间分解TOP20列表(包括:网页地址、终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、DOM准备时间、HTML下载时间、DOM建立时间以及页面渲染时间)。
1.4.2网页-列表页面展示:网页列表(包括URL、总数、每分钟请求数、响应时间、首屏时间、DOM准备时间以及首字节时间)以及快照列表(展示快照时间、URL、终端用户响应时间、首屏时间以及浏览器版本)。
1.5浏览器页面展示概览页面和列表页面。
1.5.1概览页面分别展示PC端、移动端对应的浏览器响应时间趋势TOP5、浏览器吞吐率趋势TOP5、浏览器JS错误数趋势TOP5、浏览器AJAX请求数趋势TOP5、浏览器使用比例饼图TOP10、操作系统使用比例饼图TOP10、浏览器性能对比横向柱状图TOP5(性能参数包括:响应时间、吞吐率、JS错误数、AJAX请求数)、浏览器区域分布列表(包括使用比例、响应时间、JS错误数、AJAX请求数)。微信端对应的微信版本响应时间趋势TOP5、微信版本吞吐率趋势TOP5、微信版本JS错误数趋势TOP5、微信版本AJAX请求数趋势TOP5、微信版本使用比例饼图TOP10、操作系统使用比例饼图TOP10。
1.5.2列表页面分别展示PC端、移动端以及微信端对应的列表,列表参数包括:浏览器名(或者微信版本号)、总页面数、终端用户响应时间、首字节时间、页面吞吐率、JS错误数以及AJAX请求数。
1.6运营商页面展示概览页面和列表页面。
1.6.1概览页面展示运营商响应时间趋势(TOP5)、运营商吞吐率趋势(TOP5)、运营商访问占比饼图(TOP10)、运营商JS错误数趋势(TOP10)、运营商AJAX请求数趋势(TOP5)。
1.6.2列表页面展示不同地区不同运营商的访问量、响应时间、首字节时间、吞吐率、JS错误数和AJAX请求数。
1.7JS错误页面展示JS错误(TOP5)、发生JS错误的浏览器(TOP5)、以及JS错误列表。列表参数包括URL、开始时间、最近发生时间、错误类型以及错误数量,单击URL可以深入分析具体JS错误的错误信息以及错误发生的时间、IP、地域、浏览器、UA数据等,通过堆栈定位错误代码。
进一步的,为了获知用户所在地域,所述方法,还包括:在接收页面监测数据时,获取探针所在终端的出口IP信息;根据所述出口IP信息确定所述出口IP所对应的IP段;根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息。
本发明提供的基于浏览器的监控方法,可以在不修改其他任何页面代码的前提上,只通过页面注入的探针即可完成技术指标的采集和分析。被监测页面可以通过可视化的形式在界面中显示并可根据页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面,从而准确定位错误信息,提升错误修复准确率和效率,降低业务损失;可以针对终端类型和操作系统作出性能优化改进,提升用户体验,提升产品价值。
图2为本发明实施例提供的一种基于浏览器的监控装置的结构示意图,如图2所示,所述基于浏览器的监控系统,包括:
接收单元21,用于接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;
在其中一个可选的实施方式中,所述探针以JS代码的形式添加到网站Html文档中。
生成单元22,用于根据所述接收单元接收到的所述域名信息和所述端口信息生成页面标识信息;
在其中一个可选的实施方式中,所述生成单元,包括:
处理模块,用于将所述域名信息与所述端口信息连接成字符串;
计算模块,用于对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
执行单元23,用于建立所述生成单元生成的页面标识信息与所述接收单元接收的页面检测数据之间的对应关系并存储至存储引擎;
分析显示单元24,用于在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
本发明提供的基于浏览器的监控系统,可以在不修改其他任何页面代码的前提上,只通过页面注入的探针即可完成技术指标的采集和分析。被监测页面可以通过可视化的形式在界面中显示并可根据页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面,从而准确定位错误信息,提升错误修复准确率和效率,降低业务损失;可以针对终端类型和操作系统作出性能优化改进,提升用户体验,提升产品价值。
图3为本发明又一实施例提供的一种基于浏览器的监控装置的结构示意图,如图2所示,所述基于浏览器的监控系统,还包括:
获取单元31,用于在接收页面监测数据时,获取探针所在终端的出口IP信息;
确定单元32,用于根据所述获取单元获取的出口IP信息确定所述出口IP所对应的IP段;根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息。
在其中一个可选的实施方式中,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;所述接收单元,还包括指标信息生成单元,用于:
通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;
通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;
通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;
通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程以及相应的有益效果,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明提供的基于浏览器的监控装置,可以在不修改其他任何页面代码的前提上,只通过页面注入的探针即可完成技术指标的采集和分析。被监测页面可以通过可视化的形式在界面中显示并可根据页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面,从而准确定位错误信息,提升错误修复准确率和效率,降低业务损失;可以针对终端类型和操作系统作出性能优化改进,提升用户体验,提升产品价值。
本发明实施例提供的基于浏览器的监控系统可以包括:处理器和存储器。
存储器,用于存储计算机程序(如实现上述基于浏览器的监控方法的应用程序、功能模块等)、计算机指令等;
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器,用于执行存储器存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构,也可以是集成在一起的集成结构。当处理器和存储器是独立结构时,存储器、处理器可以通过总线耦合连接。
本实施例的系统可以执行图1所示方法中的技术方案,其具体实现过程和技术原理参见图1所示方法中的相关描述,此处不再赘述。
此外,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当用户设备的至少一个处理器执行该计算机执行指令时,用户设备执行上述各种可能的方法。
其中,计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种基于浏览器的监控方法,其特征在于,包括:
接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;
根据所述域名信息和所述端口信息生成页面标识信息;
建立所述页面标识信息与所述页面检测数据之间的对应关系并存储至存储引擎;
在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
2.根据权利要求1所述的方法,其特征在于,所述根据所述域名信息和所述端口信息生成页面标识信息,包括:
将所述域名信息与所述端口信息连接成字符串;
对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
在接收页面监测数据时,获取探针所在终端的出口IP信息;
根据所述出口IP信息确定所述出口IP所对应的IP段;
根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息
较佳的,所述探针以JS代码的形式添加到网站Html文档中。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;
通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;
通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;
通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;
通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
5.一种基于浏览器的监控装置,其特征在于,包括:
接收单元,用于接收页面监测数据,所述页面监测数据包括被监测页面中注入的探针采集的技术指标以及被监测页面的域名信息、用户访问的端口信息及统一资源标识符URI;
生成单元,用于根据所述接收单元接收到的所述域名信息和所述端口信息生成页面标识信息;
执行单元,用于建立所述生成单元生成的页面标识信息与所述接收单元接收的页面检测数据之间的对应关系并存储至存储引擎;
分析显示单元,用于在接收到页面性能分析请求时,根据所述页面标识信息与所述页面检测数据之间的对应关系以及所述页面性能分析请求中携带的可视化需求将被监测页面的分析结果以可视化的形式显示在界面。
6.根据权利要求5所述的监控装置,其特征在于,所述生成单元,包括:
处理模块,用于将所述域名信息与所述端口信息连接成字符串;
计算模块,用于对所述字符串进行哈希运算生成哈希运算值,将所述哈希运算值作为所述页面标识信息。
7.根据权利要求5或6所述的监控装置,其特征在于,还包括:
获取单元,用于在接收页面监测数据时,获取探针所在终端的出口IP信息;
确定单元,用于根据所述获取单元获取的出口IP信息确定所述出口IP所对应的IP段;根据所述出口IP对应的IP段,以及IP段与地域信息对应关系,确定使用被监测页面的用户所在地域,所述地域信息包括国家信息、省信息、市信息以及经纬度信息;
较佳的,所述探针以JS代码的形式添加到网站Html文档中。
8.根据权利要求5-7任一项所述的监控装置,其特征在于,所述技术指标包括页面时间指标、错误指标、用户指标以及浏览器异步指标;所述接收单元,还包括指标信息生成单元,用于:
通过获取浏览器端的performance对象生成时间指标,所述时间指标包括终端用户响应时间、首字节时间、服务器连接时间、响应可用时间、前端时间、文档准备时间、文档下载时间、文档处理时间以及页面渲染时间;
通过获取浏览器端的Error对象生成错误指标,所述错误指标包括错误时间点、错误页面地址、错误类型、错误信息以及错误位置;
通过获取浏览器端的UserAgent对象生成用户指标,所述用户指标包括用户平台信息、浏览器终端的类型、版本、引擎、操作系统、总访问用户数、总页面数、总访问次数以及吞吐率;
通过获取浏览器端的XmlHttpRequest对象生成浏览器异步指标,所述浏览器异步指标包括请求URL、请求类型、请求数据大小、响应时间、响应数据大小、响应首字节时间、响应最后一个字节时间、响应状态、回调CallBack执行时间以及请求超时时间。
9.一种基于浏览器的监测系统,其特征在于,包括:存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-4中任一项所述的浏览器的监测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4中任一项所述的浏览器的监测方法。
CN201811635525.7A 2018-12-29 2018-12-29 基于浏览器的监控方法、装置、系统及存储介质 Pending CN109739725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811635525.7A CN109739725A (zh) 2018-12-29 2018-12-29 基于浏览器的监控方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811635525.7A CN109739725A (zh) 2018-12-29 2018-12-29 基于浏览器的监控方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN109739725A true CN109739725A (zh) 2019-05-10

Family

ID=66362349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811635525.7A Pending CN109739725A (zh) 2018-12-29 2018-12-29 基于浏览器的监控方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109739725A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175302A (zh) * 2019-05-20 2019-08-27 北京字节跳动网络技术有限公司 文档中内嵌网页的方法及装置
CN110472178A (zh) * 2019-08-20 2019-11-19 北京博睿宏远数据科技股份有限公司 一种探针注入方法、装置、计算机设备及存储介质
CN110740081A (zh) * 2019-10-23 2020-01-31 北京网聘咨询有限公司 对标多家公司页面性能的数据可视化方法
CN110781058A (zh) * 2019-11-05 2020-02-11 北京博睿宏远数据科技股份有限公司 一种移动端应用性能数据采集方法、装置、设备及介质
CN110909284A (zh) * 2019-10-11 2020-03-24 口碑(上海)信息技术有限公司 一种数据处理系统以及方法
CN111290912A (zh) * 2020-01-22 2020-06-16 北京百度网讯科技有限公司 单页面应用性能监控方法、装置和电子设备
CN111782996A (zh) * 2020-05-29 2020-10-16 厦门市美亚柏科信息股份有限公司 异步请求处理方法和装置
CN112783734A (zh) * 2021-02-02 2021-05-11 北京比特易湃信息技术有限公司 一种适用于前端页面性能和错误指标采集的系统
CN113010371A (zh) * 2020-12-07 2021-06-22 云智慧(北京)科技有限公司 一种对浏览器端真实用户体验实时监控的方法和系统
CN113364602A (zh) * 2020-03-03 2021-09-07 阿里巴巴集团控股有限公司 一种触发页面故障报警的方法、装置和存储介质
CN113569168A (zh) * 2021-06-17 2021-10-29 北京健康之家科技有限公司 页面性能数据的生成方法和装置、计算机存储介质、终端
CN113688022A (zh) * 2021-08-23 2021-11-23 中国南方电网有限责任公司 浏览器性能监控方法、装置、设备和介质
CN113918432A (zh) * 2021-09-26 2022-01-11 云智慧(北京)科技有限公司 一种钉钉小程序数据采集探针

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635655A (zh) * 2008-07-25 2010-01-27 阿里巴巴集团控股有限公司 页面性能测试的方法、装置及系统
CN103825948A (zh) * 2014-02-27 2014-05-28 优视科技有限公司 基于页面访问请求优化页面访问的方法及系统
CN105204806A (zh) * 2015-09-20 2015-12-30 杭州电子科技大学 移动终端网页个性化显示方法及装置
CN106897215A (zh) * 2017-01-20 2017-06-27 华南理工大学 一种基于WebView网页加载性能及用户行为流数据采集的方法
CN107678932A (zh) * 2017-09-29 2018-02-09 浪潮软件集团有限公司 一种应用性能分析方法及装置
CN108304498A (zh) * 2018-01-12 2018-07-20 深圳壹账通智能科技有限公司 网页数据采集方法、装置、计算机设备和存储介质
CN108334619A (zh) * 2018-02-07 2018-07-27 政采云有限公司 一种数据采集方法、装置、计算设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635655A (zh) * 2008-07-25 2010-01-27 阿里巴巴集团控股有限公司 页面性能测试的方法、装置及系统
CN103825948A (zh) * 2014-02-27 2014-05-28 优视科技有限公司 基于页面访问请求优化页面访问的方法及系统
CN105204806A (zh) * 2015-09-20 2015-12-30 杭州电子科技大学 移动终端网页个性化显示方法及装置
CN106897215A (zh) * 2017-01-20 2017-06-27 华南理工大学 一种基于WebView网页加载性能及用户行为流数据采集的方法
CN107678932A (zh) * 2017-09-29 2018-02-09 浪潮软件集团有限公司 一种应用性能分析方法及装置
CN108304498A (zh) * 2018-01-12 2018-07-20 深圳壹账通智能科技有限公司 网页数据采集方法、装置、计算机设备和存储介质
CN108334619A (zh) * 2018-02-07 2018-07-27 政采云有限公司 一种数据采集方法、装置、计算设备及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175302A (zh) * 2019-05-20 2019-08-27 北京字节跳动网络技术有限公司 文档中内嵌网页的方法及装置
CN110472178A (zh) * 2019-08-20 2019-11-19 北京博睿宏远数据科技股份有限公司 一种探针注入方法、装置、计算机设备及存储介质
CN110909284A (zh) * 2019-10-11 2020-03-24 口碑(上海)信息技术有限公司 一种数据处理系统以及方法
CN110740081A (zh) * 2019-10-23 2020-01-31 北京网聘咨询有限公司 对标多家公司页面性能的数据可视化方法
CN110781058A (zh) * 2019-11-05 2020-02-11 北京博睿宏远数据科技股份有限公司 一种移动端应用性能数据采集方法、装置、设备及介质
CN111290912A (zh) * 2020-01-22 2020-06-16 北京百度网讯科技有限公司 单页面应用性能监控方法、装置和电子设备
CN113364602A (zh) * 2020-03-03 2021-09-07 阿里巴巴集团控股有限公司 一种触发页面故障报警的方法、装置和存储介质
CN111782996A (zh) * 2020-05-29 2020-10-16 厦门市美亚柏科信息股份有限公司 异步请求处理方法和装置
CN113010371A (zh) * 2020-12-07 2021-06-22 云智慧(北京)科技有限公司 一种对浏览器端真实用户体验实时监控的方法和系统
CN112783734A (zh) * 2021-02-02 2021-05-11 北京比特易湃信息技术有限公司 一种适用于前端页面性能和错误指标采集的系统
CN113569168A (zh) * 2021-06-17 2021-10-29 北京健康之家科技有限公司 页面性能数据的生成方法和装置、计算机存储介质、终端
CN113688022A (zh) * 2021-08-23 2021-11-23 中国南方电网有限责任公司 浏览器性能监控方法、装置、设备和介质
CN113918432A (zh) * 2021-09-26 2022-01-11 云智慧(北京)科技有限公司 一种钉钉小程序数据采集探针

Similar Documents

Publication Publication Date Title
CN109739725A (zh) 基于浏览器的监控方法、装置、系统及存储介质
US11023500B2 (en) Systems and methods for code parsing and lineage detection
CN106709012A (zh) 一种大数据分析方法及装置
US20130166563A1 (en) Integration of Text Analysis and Search Functionality
US10621255B2 (en) Identifying equivalent links on a page
CN112269718B (zh) 一种业务系统故障分析方法及装置
WO2011035944A1 (en) Managing application state information by means of a uniform resource identifier (uri)
CN109284323A (zh) 检测数据的管理方法及装置
CN114791846B (zh) 一种针对云原生混沌工程实验实现可观测性的方法
US11100069B2 (en) Element identification in a tree data structure
CN103678511A (zh) 根据可视化模板进行网页内容抽取的方法及装置
CN103631578A (zh) 一种配电网自动化系统中数据展示方法
CA2786418A1 (en) Identifying equivalent javascript events
CN113407678B (zh) 知识图谱构建方法、装置和设备
CN117591229B (zh) 一种基于网关嵌入式Web的设备数据查看与展示方法及系统
CN110740081A (zh) 对标多家公司页面性能的数据可视化方法
EP3422177A1 (en) Systems and methods for code parsing and lineage detection
CN116226494B (zh) 一种用于信息搜索的爬虫系统及方法
CN111414404A (zh) 一种数据可视化装置和方法
CN114371969B (zh) 一种页面性能测试方法、装置、电子设备及存储介质
Conti et al. Spot the difference: Your bucket is leaking: A novel methodology to expose A/B testing effortlessly
JP5569438B2 (ja) あいまい記述自動検出装置及びその方法
WO2019218677A1 (zh) 电网仿真分析数据存储方法、装置及电子设备
US20240054174A1 (en) Methods and systems for obtaining and storing web pages
CN109716366A (zh) 关于企业技术、人员和业务功能的知识的自动化提取和可视化的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination