CN110928767A - 网页分析方法、装置、设备及存储介质 - Google Patents

网页分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110928767A
CN110928767A CN201910975757.5A CN201910975757A CN110928767A CN 110928767 A CN110928767 A CN 110928767A CN 201910975757 A CN201910975757 A CN 201910975757A CN 110928767 A CN110928767 A CN 110928767A
Authority
CN
China
Prior art keywords
information
page
current page
test script
performance test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910975757.5A
Other languages
English (en)
Other versions
CN110928767B (zh
Inventor
郑德生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN201910975757.5A priority Critical patent/CN110928767B/zh
Publication of CN110928767A publication Critical patent/CN110928767A/zh
Application granted granted Critical
Publication of CN110928767B publication Critical patent/CN110928767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种涉及数据分析的网页分析方法、装置、设备及存储介质，所述方法包括：获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；调用预设性能测试脚本；由所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；对所述页面运行数据进行解析，得到解析结果；提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。通过调用预设性能测试脚本实时监控页面运行数据，并建立分析表，从而实现对当前页面的运行状况进行更细化的分析。

Description

网页分析方法、装置、设备及存储介质
技术领域
本发明涉及计算机处理技术领域，尤其涉及一种网页分析方法、装置、设备及存储介质。
背景技术
当打开一个网页的时候，浏览器首先创建一个窗口，这个窗口就是window对象，也就是整个直译式脚本语言Javascript运行所依附的全局变量，为了加载网页文档，当前窗口又需要创建一个文本Document对象，然后把打开的网页加载到Document下，网页就是在这个加载的过程中，一边加载一边呈现。
目前，网页耗时上报有的是基于页面请求的耗时，即从用户访问网页到页面完全呈现所用的时间，有的是基于前端页面渲染的耗时，即从页面开始加载到页面呈现所用的时间，通过耗时时间得到当前页面的性能指标，但是仅仅通过耗时时间无法真实反映当前页面运行的具体情况，无法实现对当前页面的有效分析。
发明内容
本发明的主要目的在于提出一种网页分析方法、装置、设备及存储介质，旨在解决通过耗时时间无法实现更细化的性能分析的技术问题。
为实现上述目的，本发明提供一种网页分析方法，所述网页分析方法包括以下步骤：
获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；
调用预设性能测试脚本；
通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；
对所述页面运行数据进行解析，得到解析结果；
提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；
根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
优选地，所述调用预设性能测试脚本，包括：
在预设存储区域查找预设性能测试脚本；
将查找到的预设性能测试脚本进行加载，以实现对所述预设性能测试脚本的调用。
优选地，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据，包括：
通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息；
通过所述预设性能测试脚本动态创建上报标签信息，并在所述上报标签信息中拼接统一资源定位符；
通过所述预设性能测试脚本将拼接后的上报标签信息以及所述监控信息生成页面运行数据，并判断所述统一资源定位符的字符长度；
在所述字符长度不超过预设字符长度时，通过所述预设性能测试脚本采用sendBeacon的方式反馈所述当前页面的页面运行数据。
优选地，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息之前，所述方法还包括：
对所述性能对象信息设置应用程序编程接口；
相应地，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息，包括：
运行所述预设性能测试脚本通过所述应用程序编程接口对所述当前页面进行性能对象信息监控，得到监控信息。
优选地，所述提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息，包括：
根据预设对象函数信息提取所述解析结果中的对象函数，得到所述解析结果中的对象函数；
根据预设时间函数信息提取所述解析结果中与所述对象函数对应的时间函数；
提取所述对象函数的属性信息，以及提取与所述对象函数对应的时间函数的属性信息，根据提取的属性信息得到事件信息以及与所述事件信息对应的时间信息。
优选地，所述根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析，包括：
获取分析表模板，提取所述分析表模板中各内容对应的模板标签信息，并获取所述对象信息以及对应的时间信息对应的参考填入标签信息；
将所述参考填入标签信息与所述模板标签信息进行匹配，获得与所述模板标签信息一致的目标填入标签信息；
将所述目标填入标签信息对应的对象信息以及时间信息填入所述分析表模板，得到运行信息表，根据所述运行信息表实现对所述当前页面的分析。
优选地，所述根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析之后，所述方法还包括：
将所述运行信息表保存至预设数据库中，并为所述运行信息表设置查询接口；
在接收到对所述查询接口的调用请求时，通过所述查询接口访问所述预设数据库，以实现对所述运行信息表的查询。
此外，为实现上述目的，本发明还提出一种网页分析装置，所述网页分析装置包括：
获取模块，用于获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；
调用模块，用于调用预设性能测试脚本；
监控模块，用于通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；
解析模块，用于对所述页面运行数据进行解析，得到解析结果；
提取模块，用于提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；
建立模块，用于根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
此外，为实现上述目的，本发明还提出一种网页分析设备，所述网页分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页分析程序，所述网页分析程序配置为实现如上所述的网页分析方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有网页分析程序，所述网页分析程序被处理器执行时实现如上文所述的网页分析方法的步骤。
本发明提出的网页分析方法，通过获取用户的网页访问请求，根据所述网页访问请求确定待加载的当前页面；调用预设性能测试脚本；由所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；对所述页面运行数据进行解析，得到解析结果；提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。通过调用预设性能测试脚本实时监控页面运行数据，实现对性能对象信息度量结果的自动上报，并对得到的页面运行数据进行有效解析，根据解析结果建立分析表，从而实现对当前页面的运行状况进行更细化的分析。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明网页分析方法第一实施例的流程示意图；
图3为本发明网页分析方法一实施例的请求信息的数据结构示意图；
图4为本发明网页分析方法第二实施例的流程示意图；
图5为本发明网页分析方法一实施例的性能对象的数据结构示意图；
图6为本发明网页分析方法第三实施例的流程示意图；
图7为本发明网页分析装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网页分析程序。
在图1所示的设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的网页分析程序，并执行本发明实施例提供的网页分析的实施方法。
基于上述硬件结构，提出本发明网页分析方法实施例。
参照图2，图2为本发明网页分析方法第一实施例的流程示意图。
在第一实施例中，所述网页分析方法包括以下步骤：
步骤S10，获取网页访问请求，根据所述网页访问请求确定待加载的当前页面。
需要说明的是，本实施例的执行主体为网页分析设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以网页分析设备为例进行说明。
可以理解的是，所述网页访问请求可为通过用户输入待访问网页发起的超文本传输协议(HyperTextTransferProtocol，HTTP)请求，还可为其他形式的访问方式，本实施例对此不作限制。
步骤S20，调用预设性能测试脚本。
在本实施例中，所述预设性能测试脚本为javascript脚本信息，在javascript脚本信息设置在当前页面时，通过所述当前页面运行预设性能测试脚本，在javascript脚本信息设置其他存储区域时，调用其他存储区域运行的预设性能测试脚本。
步骤S30，通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据。
需要说明的是，所述性能对象信息为perfermance对象信息，通过所述perfermance对象信息可获取当前页面的事件信息。
可以理解的是，网页计时机制的核心是window.performance对象，对页面的所有度量信息，包括规范中已经定义的和将来才能确定的，都包含在这个对象里面，performance对象包括navigation和timing对象，以及chrome浏览器扩展的memory对象，还包括getEntries()和now()两个方法，其中，performance.timing属性也是一个对象，但这个对象的属性都是时间戳，不同的事件会产生不同的时间值，从而记录当前页面的页面运行数据。
如图3所示请求信息的数据结构示意图，显示了一个请求发出的整个过程中，各种环节的时间顺序，包括重定向、缓存、域名系统、传输控制、请求以及响应部分，其中，重定向包括redirectStart，redirectStart表示到当前页面的重定向开始的时间，但只有在重定向的页面来自同一个域名时这个属性才会有值；否则，值为0，redirectEnd代表到当前页面的重定向结束的时间，但只有在重定向的页面来自同一个域名时这个属性才会有值；否则，值为0等其他属性信息，从而实时获取当前的页面运行数据。
步骤S40，对所述页面运行数据进行解析，得到解析结果。
需要说明的是，所述页面运行数据为超文本标记语言(Hyper Text MarkupLanguage，HTML)的形式，为了实现对数据的分析，需要对页面运行数据进行解析，得到可处理的数据，通过对所述页面运行数据进行解析，从而得到页面使用信息以及对应的时间信息。
步骤S50，提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息。
在本实施例中，还可根据解析结果获取当前的接口信息，根据所述接口信息中的时间统计出当前接口的耗时时间，从而实现对当前页面使用的接口耗时时间的统计。
在具体实现中，获取当前的网页请求信息，一般通过HTTP协议发送请求信息，所述请求信息包括接口信息，通过对当前请求信息的分析，获取当前页面使用的接口信息，从而可针对每个使用的接口进行耗时统计。
步骤S60，根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
在本实施例中，由于通过所述预设性能测试脚本监控当前页面的性能对象信息，从而获得访问过程中的整个页面运行数据，可更细化的实现对当前页面的分析，由于页面运行数据的数据量大，可通过运行信息表对页面运行数据进行有效管理，更方便进行数据分析。
本实施例通过上述方案，通过获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；调用预设性能测试脚本；由所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；对所述页面运行数据进行解析，得到解析结果；提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。通过调用预设性能测试脚本实时监控页面运行数据，并对得到的页面运行数据进行有效解析，根据解析结果建立分析表，从而实现对当前页面的运行状况进行更细化的分析。
进一步地，如图4所示，基于第一实施例提出本发明网页分析方法第二实施例，在本实施例中，所述步骤S20，包括：
步骤S201，在预设存储区域查找预设性能测试脚本。
需要说明的是，为了提高网页的响应速度，在网页上并没有涉及性能测试脚本信息，在本实施例中，可通过在预设存储区域存储预设性能测试脚本，实现对预设性能测试脚本的加载。
步骤S202，将查找到的预设性能测试脚本进行加载，以实现对所述预设性能测试脚本的调用。
在实施例中，通过javascript脚本信息可使用浏览器内部perfermance对象的度量结果，通过在浏览器中加载javascript脚本信息，从而实现对perfermance对象的度量结果的自动上报，performance对象设有应用程序编程接口(Application ProgrammingInterface，API)，javascript脚本信息通过所述应用程序接口监控performance对象，从而实时获得对performance对象的监控信息，即度量结果。
在本实施例中，如图5所示的perfermance对象信息，可知，perfermance对象为应用程序编程接口(Application Programming Interface，API)，在页面加载完成之后再使用，通过在window.onload事件中读取各种数据，从输入统一资源定位符(UniformResource Locator，URL)到用户可以使用页面的全过程时间统计，会返回一个PerformanceTiming对象，单位均为毫秒，可记录当前页面的各个时间的时间戳信息以及访问的页面信息，从而根据记录的结果实现对当前页面运行状况的分析，其中，connectStart：返回HTTP请求开始向服务器发送时的Unix毫秒时间戳。如果使用持久连接(persistent connection)，则返回值等同于fetchStart属性的值。connectEnd：返回浏览器与服务器之间的连接建立时的Unix毫秒时间戳。如果建立的是持久连接，则返回值等同于fetchStart属性的值。连接建立指的是所有握手和认证过程全部结束。domComplete：返回当前页面DOM结构生成时(即Document.readyState属性变为“complete”，以及相应的readystatechange事件发生时)的Unix毫秒时间戳。domContentLoadedEventStart：返回当前页面DOMContentLoaded事件发生时(即DOM结构解析完毕、所有脚本开始运行时)的Unix毫秒时间戳。domContentLoadedEventEnd：返回当前页面所有需要执行的脚本执行完成时的Unix毫秒时间戳。domInteractive：返回当前页面DOM结构结束解析、开始加载内嵌资源时，即Document.readyState属性变为“interactive”、相应的readystatechange事件触发时的Unix毫秒时间戳。domLoading：返回当前页面DOM结构开始解析时，即Document.readyState属性变为“loading”、相应的readystatechange事件触发时的Unix毫秒时间戳。domainLookupStart：返回域名查询开始时的Unix毫秒时间戳。如果使用持久连接，或者信息是从本地缓存获取的，则返回值等同于fetchStart属性的值。domainLookupEnd：返回域名查询结束时的Unix毫秒时间戳。如果使用持久连接，或者信息是从本地缓存获取的，则返回值等同于fetchStart属性的值。fetchStart：返回浏览器准备使用HTTP请求读取文档时的Unix毫秒时间戳。该事件在网页查询本地缓存之前发生。loadEventStart：返回当前页面load事件的回调函数开始时的Unix毫秒时间戳。如果该事件还没有发生，返回0。loadEventEnd：返回当前页面load事件的回调函数运行结束时的Unix毫秒时间戳。如果该事件还没有发生，返回0。navigationStart：当前浏览器窗口的前一个网页关闭，发生unload事件时的Unix毫秒时间戳。如果没有前一个网页，则等于fetchStart属性。redirectStart：返回第一个HTTP跳转开始时的Unix毫秒时间戳。如果没有跳转，或者不是同一个域名内部的跳转，则返回值为0。redirectEnd：返回最后一个HTTP跳转结束时(即跳转回应的最后一个字节接受完成时)的Unix毫秒时间戳。如果没有跳转，或者不是同一个域名内部的跳转，则返回值为0。requestStart：返回浏览器向服务器发出HTTP请求时(或开始读取本地缓存时)的Unix毫秒时间戳。
进一步，步骤S30，包括：
通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息；通过所述预设性能测试脚本通过所述预设性能测试脚本动态创建上报标签信息，并在所述上报标签信息中拼接统一资源定位符；由所述预设性能测试脚本将拼接后的上报标签信息以及所述监控信息生成页面运行数据，并判断所述统一资源定位符的字符长度；在所述字符长度不超过预设字符长度时，通过所述预设性能测试脚本采用sendBeacon的方式反馈所述页面运行数据。
需要说明的是，为了获取perfermance对象，在JavaScript控制台中输入window.performance，则会返回一个类型为Performance的对象，以及该对象所暴露的一些对象和方法，从而实现对perfermance对象的监控。
进一步地，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息之前，所述方法还包括：
对所述性能对象信息设置应用程序编程接口。
相应地，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息，包括：
运行所述预设性能测试脚本通过所述应用程序编程接口对所述当前页面进行性能对象信息监控，得到监控信息。
在具体实现中，通过动态创建img标签的方式，在img.src中拼接URL的方式实现自动上报，不存在跨域限制，如果URL太长，则用sendBeacon的方式发送请求，如果sendBeacon方法不兼容，则发送ajax post同步请求，sendBeacon在的请求头中发送的是一个类似与POST的请求，因此可以类似于处理post一样来处理sendBeacon请求，一般约定ajax请求的content—type为：“application/json；charset＝utf-8”，而sendBeacon请求的content-type为：“application/x-www-form-urlencoded”，从而区别是正常的ajax post请求还是sendBeacon请求。
本实施例提供的方案，通过所述预设性能测试脚本动态创建上报标签信息，并在所述上报标签信息中拼接所述统一资源定位符，将拼接后的上报标签信息生成页面运行数据，从而是实现页面运行数据的自动上报。
进一步地，如图6所示，基于第一实施例或第二实施例提出本发明网页分析方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S50，包括：
根据预设对象函数信息提取所述解析结果中的对象函数，得到所述解析结果中的对象函数；根据预设时间函数信息提取所述解析结果中与所述对象函数对应的时间函数；提取所述对象函数的属性信息，以及提取与所述对象函数对应的时间函数的属性信息，根据提取的属性信息得到事件信息以及与所述事件信息对应的时间信息。
需要说明的是，将所述页面运行数据与预设函数进行比较，根据比较结果获取页面对象函数以及时间函数，提取所述页面对象函数以及时间函数的属性信息，根据所述属性信息得到事件信息以及与所述事件信息对应的时间信息，例如图5中的表示页面对象函数window.onload可得到相应的事件信息，根据可表示时间函数的redirectStart获取到当前页面的重定向开始的时间，redirectEnd获取到当前页面的重定向结束的时间，根据开始的时间和结束的时间的差值得到重定向的耗时时间，从而实现对页面运行数据的分析。
进一步地，所述步骤S60，包括：
步骤S601，获取分析表模板，提取所述分析表模板中各内容对应的模板标签信息，并获取所述对象信息以及对应的时间信息对应的参考填入标签信息。
步骤S602，将所述参考填入标签信息与所述模板标签信息进行匹配，获得与所述模板标签信息一致的目标填入标签信息。
步骤S603，将所述目标填入标签信息对应的对象信息以及时间信息填入所述分析表模板，得到运行信息表，根据所述运行信息表实现对所述当前页面的分析。
在本实施例中，可获取网页使用信息以及对应的时间信息，在预设区域查找到对应的分析表模板信息，根据所述模板信息查找对应的标签信息，以及在网页使用信息以及对应的时间信息中查找与模板相同的标签信息，将处于相同标签信息的页面使用信息以及对应的时间信息填入所述模板信息中，从而生成当前页面的运行信息表，通过所述运行信息表对当前页面进行更细化的分析。
进一步地，所述步骤S60之后，所述方法还包括：
将所述运行信息表保存至预设数据库中，并为所述运行信息表设置查询接口；在接收到对所述查询接口的调用请求时，通过所述查询接口访问所述预设数据库，以实现对所述运行信息表的查询。
需要说明的是，还设有保存接口，通过所述保存接口可将所述运行信息表保存在预设数据库中，还设有预设查询接口信息，通过所述预设查询接口信息可输入用户的查询信息，根据所述查询信息通过访问数据库查看具体页面，具体时间的每一步耗时详情，并分析出哪些页面、哪个步骤耗时比较长，从而实现对当前页面的运行状况进行更细化的分析。
本实施例提供的方案，将页面运行数据生成运行信息表，通过所述运行信息表对页面运行数据进行管理，从而实现对当前页面进行更细化的分析，满足不同用户的需求。
本发明进一步提供一种网页分析装置。
参照图7，图7为本发明网页分析装置第一实施例的功能模块示意图。
本发明网页分析装置第一实施例中，该网页分析装置包括：
获取模块10，用于获取用户的网页访问请求，根据所述网页访问请求确定待加载的当前页面。
可以理解的是，所述网页访问请求可为通过用户输入待访问网页发起的超文本传输协议(HyperTextTransferProtocol，HTTP)请求，还可为其他形式的访问方式，本实施例对此不作限制。
调用模块20，用于调用预设性能测试脚本。
在本实施例中，所述预设性能测试脚本为javascript脚本信息，在javascript脚本信息设置在当前页面时，通过所述当前页面运行预设性能测试脚本，在javascript脚本信息设置其他存储区域时，通过调用其他存储区域运行预设性能测试脚本，通过所述预设性能测试脚本实现
监控模块30，用于通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据。
需要说明的是，所述性能对象信息为perfermance对象信息，通过所述perfermance对象信息可获取当前页面的事件信息。
可以理解的是，网页计时机制的核心是window.performance对象，对页面的所有度量信息，包括规范中已经定义的和将来才能确定的，都包含在这个对象里面，performance对象包括navigation和timing对象，以及chrome浏览器扩展的memory对象，还包括getEntries()和now()两个方法，其中，performance.timing属性也是一个对象，但这个对象的属性都是时间戳，不同的事件会产生不同的时间值，从而记录当前页面的页面运行数据。
如图3所示请求信息的数据结构示意图，显示了一个请求发出的整个过程中，各种环节的时间顺序，包括重定向、缓存、域名系统、传输控制、请求以及响应部分，其中，重定向包括redirectStart，redirectStart表示到当前页面的重定向开始的时间，但只有在重定向的页面来自同一个域名时这个属性才会有值；否则，值为0，redirectEnd代表到当前页面的重定向结束的时间，但只有在重定向的页面来自同一个域名时这个属性才会有值；否则，值为0等其他属性信息，从而实时获取当前的页面运行数据。
解析模块40，用于对所述页面运行数据进行解析，得到解析结果。
需要说明的是，所述页面运行数据为超文本标记语言(Hyper Text MarkupLanguage，HTML)的形式，为了实现对数据的分析，需要对页面运行数据进行解析，得到可处理的数据，通过对所述页面运行数据进行解析，从而得到页面使用信息以及对应的时间信息。
提取模块50，用于提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息。
在本实施例中，还可根据解析结果获取当前的接口信息，根据所述接口信息中的时间时间统计出当前接口的耗时时间，从而实现对当前页面使用的接口耗时时间的统计。
在具体实现中，获取当前的网页请求信息，一般通过HTTP协议发送请求信息，所述请求信息包括接口信息，通过对当前请求信息的分析，获取当前页面使用的接口信息，从而可针对每个使用的接口进行耗时统计。
建立模块60，用于根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
在本实施例中，由于通过所述预设性能测试脚本监控当前页面的性能对象信息，从而获得访问过程中的整个页面运行数据，可更细化的实现对当前页面的分析，由于页面运行数据的数据量大，可通过运行信息表对页面运行数据进行有效管理，更方便进行数据分析。
本实施例通过上述方案，通过获取用户的网页访问请求，根据所述网页访问请求确定待加载的当前页面；调用预设性能测试脚本；由所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；对所述页面运行数据进行解析，得到解析结果；提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。通过调用预设性能测试脚本实时监控页面运行数据，并建立分析表，从而实现对当前页面的运行状况进行更细化的分析。
本发明所述网页分析装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有网页分析程序，所述网页分析程序被处理器执行如上文所述的网页分析方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能终端设备(可以是手机，计算机，终端设备，空调器，或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网页分析方法，其特征在于，所述网页分析方法包括：
获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；
调用预设性能测试脚本；
通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；
对所述页面运行数据进行解析，得到解析结果；
提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；
根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
2.如权利要求1所述的网页分析方法，其特征在于，所述调用预设性能测试脚本，包括：
在预设存储区域查找预设性能测试脚本；
将查找到的预设性能测试脚本进行加载，以实现对所述预设性能测试脚本的调用。
3.如权利要求1所述的网页分析方法，其特征在于，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据，包括：
通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息；
通过所述预设性能测试脚本动态创建上报标签信息，并在所述上报标签信息中拼接统一资源定位符；
通过所述预设性能测试脚本将拼接后的上报标签信息以及所述监控信息生成页面运行数据，并判断所述统一资源定位符的字符长度；
在所述字符长度不超过预设字符长度时，通过所述预设性能测试脚本采用sendBeacon的方式反馈所述当前页面的页面运行数据。
4.如权利要求3所述的网页分析方法，其特征在于，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息之前，所述方法还包括：
对所述性能对象信息设置应用程序编程接口；
相应的，所述通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，得到监控信息，包括：
运行所述预设性能测试脚本通过所述应用程序编程接口对所述当前页面进行性能对象信息监控，得到监控信息。
5.如权利要求1至4中任一项所述的网页分析方法，其特征在于，所述提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息，包括：
根据预设对象函数信息提取所述解析结果中的对象函数，得到所述解析结果中的对象函数；
根据预设时间函数信息提取所述解析结果中与所述对象函数对应的时间函数；
提取所述对象函数的属性信息，以及提取与所述对象函数对应的时间函数的属性信息，根据提取的属性信息得到事件信息以及与所述事件信息对应的时间信息。
6.如权利要求1至4中任一项所述的网页分析方法，其特征在于，所述根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析，包括：
获取分析表模板，提取所述分析表模板中各内容对应的模板标签信息，并获取所述对象信息以及对应的时间信息对应的参考填入标签信息；
将所述参考填入标签信息与所述模板标签信息进行匹配，获得与所述模板标签信息一致的目标填入标签信息；
将所述目标填入标签信息对应的对象信息以及时间信息填入所述分析表模板，得到运行信息表，根据所述运行信息表实现对所述当前页面的分析。
7.如权利要求1至4中任一项所述的网页分析方法，其特征在于，所述根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析之后，所述方法还包括：
将所述运行信息表保存至预设数据库中，并为所述运行信息表设置查询接口；
在接收到对所述查询接口的调用请求时，通过所述查询接口访问所述预设数据库，以实现对所述运行信息表的查询。
8.一种网页分析装置，其特征在于，所述网页分析装置包括：
获取模块，用于获取网页访问请求，根据所述网页访问请求确定待加载的当前页面；
调用模块，用于调用预设性能测试脚本；
监控模块，用于通过所述预设性能测试脚本对所述当前页面进行性能对象信息监控，以获得所述当前页面的页面运行数据；
解析模块，用于对所述页面运行数据进行解析，得到解析结果；
提取模块，用于提取所述解析结果中的事件信息以及与所述事件信息对应的时间信息；
建立模块，用于根据所述事件信息以及对应的时间信息建立运行信息表，根据所述运行信息表对所述当前页面进行分析。
9.一种网页分析设备，其特征在于，所述网页分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页分析程序，所述网页分析程序配置为实现如权利要求1至7中任一项所述的网页分析方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有网页分析程序，所述网页分析程序被处理器执行时实现如权利要求1至7中任一项所述的网页分析方法的步骤。
CN201910975757.5A 2019-10-12 2019-10-12 网页分析方法、装置、设备及存储介质 Active CN110928767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910975757.5A CN110928767B (zh) 2019-10-12 2019-10-12 网页分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910975757.5A CN110928767B (zh) 2019-10-12 2019-10-12 网页分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110928767A true CN110928767A (zh) 2020-03-27
CN110928767B CN110928767B (zh) 2023-05-02

Family

ID=69849030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910975757.5A Active CN110928767B (zh) 2019-10-12 2019-10-12 网页分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110928767B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522752A (zh) * 2020-05-26 2020-08-11 北京大米未来科技有限公司 程序测试方法、程序测试装置、存储介质和电子设备
CN111782468A (zh) * 2020-06-29 2020-10-16 中国工商银行股份有限公司 一种Web前端性能的监测方法及装置
CN113377563A (zh) * 2021-06-01 2021-09-10 北京齐尔布莱特科技有限公司 一种网页监控方法及计算设备
CN113468260A (zh) * 2021-05-27 2021-10-01 北京达佳互联信息技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN113674538A (zh) * 2021-08-09 2021-11-19 南京美慧软件有限公司 一种断面流量监测系统
CN113971059A (zh) * 2020-07-22 2022-01-25 北京奇虎科技有限公司 设备连接状态恢复方法、装置、设备及存储介质
CN114048147A (zh) * 2022-01-12 2022-02-15 广东拓思软件科学园有限公司 测试用例生成方法、装置、存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766256A (zh) * 2018-12-21 2019-05-17 中国平安财产保险股份有限公司 应用程序中h5页面性能测试方法、装置和计算机设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766256A (zh) * 2018-12-21 2019-05-17 中国平安财产保险股份有限公司 应用程序中h5页面性能测试方法、装置和计算机设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522752A (zh) * 2020-05-26 2020-08-11 北京大米未来科技有限公司 程序测试方法、程序测试装置、存储介质和电子设备
CN111522752B (zh) * 2020-05-26 2023-04-25 北京大米未来科技有限公司 程序测试方法、程序测试装置、存储介质和电子设备
CN111782468A (zh) * 2020-06-29 2020-10-16 中国工商银行股份有限公司 一种Web前端性能的监测方法及装置
CN111782468B (zh) * 2020-06-29 2024-02-27 中国工商银行股份有限公司 一种Web前端性能的监测方法及装置
CN113971059A (zh) * 2020-07-22 2022-01-25 北京奇虎科技有限公司 设备连接状态恢复方法、装置、设备及存储介质
CN113468260A (zh) * 2021-05-27 2021-10-01 北京达佳互联信息技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN113468260B (zh) * 2021-05-27 2024-05-14 北京达佳互联信息技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN113377563A (zh) * 2021-06-01 2021-09-10 北京齐尔布莱特科技有限公司 一种网页监控方法及计算设备
CN113377563B (zh) * 2021-06-01 2024-02-23 北京齐尔布莱特科技有限公司 一种网页监控方法及计算设备
CN113674538A (zh) * 2021-08-09 2021-11-19 南京美慧软件有限公司 一种断面流量监测系统
CN114048147A (zh) * 2022-01-12 2022-02-15 广东拓思软件科学园有限公司 测试用例生成方法、装置、存储介质和电子设备
CN114048147B (zh) * 2022-01-12 2022-04-12 广东拓思软件科学园有限公司 测试用例生成方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN110928767B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110928767B (zh) 网页分析方法、装置、设备及存储介质
US8413044B2 (en) Method and system of retrieving Ajax web page content
KR102151457B1 (ko) 통신 시스템에서 페이지 로딩 시간 단축 방법 및 장치
CN108415804B (zh) 获取信息的方法、终端设备及计算机可读存储介质
CN105095280A (zh) 一种浏览器缓存方法和装置
CA2742059A1 (en) Method and system for automated analysis and transformation of web pages
US10536363B2 (en) Synthetic testing of web applications using instrumented monitoring agents
US20170177727A1 (en) Methods for analyzing web sites using web services and devices thereof
CN107329976B (zh) 网页分页方法、装置、计算机设备及计算机可读存储介质
CN112905928B (zh) 网页刷新方法、装置、电子设备及存储介质
CN105528369B (zh) 网页转码方法、装置以及服务器
CN110598135A (zh) 网络请求处理方法、装置、计算机可读介质及电子设备
CN111431767B (zh) 多浏览器资源同步方法、装置、计算机设备和存储介质
CN111767109A (zh) 基于终端应用的h5页面显示方法、设备及可读存储介质
JP2011043924A (ja) Ｗｅｂ行動履歴取得システム、Ｗｅｂ行動履歴取得方法、ゲートウェイ装置、及びプログラム
US10095791B2 (en) Information search method and apparatus
CN113742551A (zh) 一种基于scrapy和puppeteer的动态数据抓取方法
CN111680247B (zh) 网页字符串的本地调用方法、装置、设备及存储介质
CN109684156B (zh) 基于混合模式应用的监控方法、装置、终端及存储介质
CN111209325A (zh) 业务系统接口识别方法、装置及存储介质
CN110825603A (zh) 页面首次加载时间确定方法、装置、电子设备及存储介质
CN110633432A (zh) 一种获取数据的方法、装置、终端设备及介质
CN110990732A (zh) 基于网页的加载方法、装置、设备及存储介质
CN111338928A (zh) 基于chrome浏览器测试的方法及装置
CN115795212A (zh) 一种页面显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210127

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen saiante Technology Service Co.,Ltd.

Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000

Applicant before: Ping An International Smart City Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant