CN113761443A - 一种网站页面数据采集与统计方法、存储介质及设备 - Google Patents
一种网站页面数据采集与统计方法、存储介质及设备 Download PDFInfo
- Publication number
- CN113761443A CN113761443A CN202110972035.1A CN202110972035A CN113761443A CN 113761443 A CN113761443 A CN 113761443A CN 202110972035 A CN202110972035 A CN 202110972035A CN 113761443 A CN113761443 A CN 113761443A
- Authority
- CN
- China
- Prior art keywords
- page
- website page
- time
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007619 statistical method Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013486 operation strategy Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种网站页面数据采集与统计方法、存储介质及设备。其中,网站页面数据采集方法获取进入网站页面的时间和打开网站页面的用户信息数据;通过监听PerformanceObserver对象获取所述网站页面的性能指标基础数据;判断网站页面类型、技术框架类型及路由模式并根据判断结果选取监听事件;根据监听事件获取所述用户进入页面时间数据和离开页面时间数据;将所述数据发送至服务器并存入数据库中以供服务器统计获取所述网站页面的pv、uv、性能指标以及停留时长数据。本发明实现了网站页面全面数据监控和采集,能够做到不破坏原有网站页面实现逻辑,自动将数据推送并存入服务器数据库中进行统计,数据全面、真实,非常方便和快捷。
Description
技术领域
本发明涉及计算机统计技术领域,特别是涉及一种网站页面数据采集与统计方法、存储介质及设备。
背景技术
对于网站建设者,知晓网站访客是如何找到并浏览用户的网站,在网站上做了些什么,采集并分析此类数据对于网站进行访客分析以及网站改进十分重要。通过将采集到的数据实现数据可视化,网站建设者(下文以用户代指)能够非常清晰的从可视化界面上查看和对比各类性能指标,如页面响应时间,停留时长、跳出率,pv,uv等,此类数据可以帮助用户改善访客在用户的网站上的使用体验,不断提升网站的投资回报率。然而这所有的数据指标都需要能够捕获访客进入/离开页面的时间——路由变化。由于目前前端技术栈越来越复杂,可以分为多页应用,单页应用,单页应用的技术栈又可以分为vue、react、angular等,这些技术实现路由跳转的方式都不尽相同,监听路由变化的方式也就各有差别。目前开源的数据统计方法、工具不能很方便的兼容这些技术栈,都需要做差异化的配置或者在项目代码内部硬编码,侵入性比较高。
现有技术中,网站页面中的页面访问数据的采集和统计方法非常零碎,统计效率低下,且目前多数公司中对于统计的数据统一接入SaaS平台,采用传统方式统计方法无法做到灵活自主、安全的进行数据统计。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种网站页面数据采集与统计方法、存储介质及设备,用于解决现有技术中的以上问题。
为实现上述目的及其他相关目的,本发明提供一种网站页面数据采集方法,应用于终端,所述方法包括:获取进入网站页面的时间和打开网站页面的用户信息数据;通过监听PerformanceObserver对象获取所述网站页面的性能指标基础数据;判断网站页面类型、技术框架类型及路由模式并根据判断结果选取监听事件;根据监听事件获取所述用户进入页面时间数据和离开页面时间数据;将所述数据发送至服务器并存入数据库中以供数据库服务器统计获取所述网站页面的pv、uv、性能指标以及停留时长数据。
于本发明一实施例中,所述方法还包括:根据打开网站页面的用户信息判断所述用户是否为新用户,若所述用户为新用户,则根据所述用户的身份信息数据生成唯一身份标识;将所述打开网站页面的用户的唯一身份标识作为参数通过接口发送到服务器并存入数据库中。
于本发明一实施例中,所述方法中获取所述网站页面的性能指标基础数据包括通过监听PerformanceObserver的navigation事件获取页面开始请求时间、dom元素加载完成时间、导航结束时间,其中,所述时间在对应事件发生加以时间戳进行记录。
于本发明一实施例中,所述方法还包括,判断所述网站页面所属页面类型;调用beforeunload事件进行监听以获取所述用户关闭网站页面的时间;当所述网站页面为单页应用时:判断所述单页应用采用的技术框架;第一、所述单页应用采用的技术框架为react技术框架时,判断所述react技术框架采用的路由模式:当所述路由模式为hash路由时,调用onhashchange事件进行监听路由切换以获取所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;当所述路由模式为browser路由时,调用pushState和replaceState事件进行监听监听路由切换以获取所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;第二、所述单页应用采用的技术框架为vue技术框架时,获取所述vue技术框架采用的路由模式,当所述路由模式为hash路由或browser路由时,调用popState事件进行监听路由切换以获取所述所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;其中,获取的时间数据在对应事件发生时加以时间戳进行记录。
于本发明一实施例中,所述方法中还包括:当所述网站页面为多页应用,通过navigator.sendBeacon调用接口进行发送所述数据;当所述网站页面为单页应用,通过ajax调用接口进行发送所述数据。
于本发明一实施例中,所述方法还包括根据所述网站页面类型、技术框架类型及路由模式的不同采用不同的代码模块,并将不同的代码模块集成封装以实现所述方法。
于本发明一实施例中,本发明提供一种网站页面数据统计方法,应用于数据库服务器,所述方法包括:根据所述用户唯一身份标识存入数据库的请求数统计所述网站页面的pv数据;将所述网站页面的pv数据根据所述用户唯一身份标识进行处理以获取所述网站页面的uv数据;根据所述页面开始请求时间戳和导航结束时间戳计算获取所述网站页面白屏时间;根据所述页面开始请求时间戳和dom加载完成时间戳计算获取所述网站页面白屏时间;根据所述同一网站页面的进入时间戳和离开所述网站页面的时间戳计算获取所述网站页面停留时长数据。
为实现上述目的及其他相关目的,本发明提供一种计算机可读存储介质,其中存储有计算机程序,所述计算机程序被处理器加载执行时,实现所述的网站页面数据采集方法,或所述的网站页面数据统计方法。
为实现上述目的及其他相关目的,本发明提供一种电子设备,包括:处理器、存储器及通信接口;其中,所述存储器用于存储计算机程序;所述处理器用于加载执行所述计算机程序,以以使所述电子设备执行所述的网站页面数据采集方法,或所述的网站页面数据统计方法;所述通信接口用于实现访问装置与其他设备之间的通信。
如上所述,本发明提供的一种网站页面数据采集与统计方法、存储介质及设备,实现了将不同网页类型、技术栈、路由类型的路由跳转监听方式统一集成封装,用户在此基础上只需引入封装后的文件就可以实现全面数据监控和采集,非常方便、快捷。用户在SaaS平台通过可视化界面访问数据库服务器以便显示不通维度的统计数据,方便用户进行数据分析并以此制定运营策略或网站改进措施。
附图说明
图1显示为本发明一实施例中的网站页面数据采集方法的流程示意图。
图2显示为本发明一实施例中的网站页面监听事件判断选取方法的流程示意图。
图3显示为本发明一实施例中的网站页面数据采集与统计方法的应用架构示意图。
图4显示为本发明一实施例中的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
为了解决现有技术中由于浏览器的相关限制,技术栈越来越复杂,实现路由跳转的方式都不尽相同,监听路由变化的方式各有差别,因此无法进行统一进行网站页面数据采集的问题,本发明提供一种网站页面数据采集与统计方法、存储介质及设备。
如图1所示,本实施例提供一种网站页面数据采集方法,该方法包括如下步骤:
S11:获取进入网站页面的时间和打开网站页面的用户信息数据。
具体地,在用户打开浏览器进入网站页面时记录进入页面的时间并加以时间戳,获取进入网站页面的时间并通过调用接口发送至服务器存入数据库中。获取浏览器打开网站页面时localstorage中cookie值,若该值为空,该用户则为新用户,根据该新用户身份信息生成唯一身份标识uuid并存入localstorage,并将该用户的uuid作为参数通过ajax调用接口发送至服务器存入数据库中。
S12:通过监听PerformanceObserver对象获取所述网站页面的性能指标基础数据。
具体地,网站页面的关键性能指标数据包括网站页面首屏加载时间数据(指从浏览器输入地址并确认后到首屏内容渲染完毕的时间)和网站页面白屏时间数据(指通过输入浏览器地址并确认后到网站页面开始有内容的时间),而为了统计获取关键性能指标数据,需要先行采集网站页面的关键性能指标基础数据。网站页面的性能指标基础数据采集方法为对window的PerformanceObserver对象的navigation事件进行监听,获取该网站页面开始请求时间戳(fetchStart)、dom元素加载完成时间戳(domInteractive)、导航结束时间戳(duration)。
S13:判断网站页面类型、技术框架类型及路由模式并根据判断结果选取监听事件。
具体地,监听事件判断选取流程参阅图2,先行根据配置参数(isSPA)判断用户进入的网站页面所属页面类型,当判断结果为“否”时,该网站页面为多页应用,通过调用beforeunload事件对用户是否关闭页面进行监听。
进一步地,当该网站页面类型判断结果为“是”,该网站页面为单页应用。在网站页面为单页应用的基础上,根据配置参数(isVue)判断该单页应用采用的技术框架类别,当判断结果为“否”时,该单页应用采用的技术框架为react,在此基础上,还需根据配置参数(spaRouteMode)判断该技术框架的路由模式,当路由模式判断结果为browser路由时,对pushState和replaceState事件对路由切换进行监听,同时调用beforeunload事件对用户关闭页面进行监听;当路由模式判断结果为hash路由时,通过调用window对象的onhashchange事件对路由切换进行监听,同时调用beforeunload事件对用户关闭页面进行监听。
进一步地,根据配置参数(isVue)判断该单页应用采用的技术框架类别,当判断结果为“是”时,该单页应用采用的技术框架为vue,在此基础上,当该技术框架的路由模式为browser路由和hash路由,调用popState事件对路由切换进行监听,于此同时调用beforeunload事件对用户关闭页面进行监听。
S14:根据监听事件获取所述用户进入页面时间数据和离开页面时间数据。
具体地,当网站页面为多页应用时,在通过beforeunload事件监听到用户关闭页面时记录用户关闭页面的时间并加以时间戳,获取用户关闭页面的时间并将其作为用户离开网页页面的时间。
进一步地,当网站页面为单页应用时,在根据S12步骤对不同技术框架和不同路由模式采用调用不同的事件对路由切换进行监听时,在路由发生切换时记录用户离开当前页面的时间和进入下一个页面的时间并加以时间戳,获取用户离开当前页面的时间和进入下一个页面的时间以便后续统计页面停留时间;于此同时,在通过beforeunload事件监听到用户关闭页面时记录用户关闭页面的时间并加以时间戳,获取用户关闭页面的时间并将其作为用户离开网页页面的时间。需要说明的是,当路由发生切换时,根据获取的用户离开当前页面的时间统计用户在该页面的停留时长,当路由未发生切换时,若用户关闭了当前页面,将通过监听获取的用户关闭页面的时间作为用户离开当前页面的时间以便统计用户在该页面的停留时长。
S15:将所述数据发送至服务器并存入数据库中以供数据库服务器统计获取所述网站页面的pv、uv、性能指标以及停留时长数据。
具体地,在采集到网站页面相关基础数据后通过调用接口将数据发送至服务器并存入数据库,一般来说,通过调用ajax来发送采集到的基础数据。优选地,在监听到用户关闭页面时,即页面进行卸载时,调用navigator.sendBeacon来发送数据统计用户在该网页的停留时长以便解决调用ajax失败问题。
最后,在服务器数据库接收到网页页面终端采集到的基础数据后,统计网站页面的pv、uv、性能指标以及停留时长数据,其中,以上数据的统计方法具体包括:
根据统计将用户唯一身份标识uuid存入数据库的请求数获取网站页面的pv数据;
将获取的网站页面的pv数据根据所述用户唯一身份标识uuid进行去重处理来获取网站页面的uv数据;
根据接收到的网站页面开始请求时间戳和导航结束时间戳之间的时间差计算获取该网站页面的白屏时间;
根据接收到的网站页面开始请求时间戳和dom加载完成时间戳之间的时间差计算获取该网站页面白屏时间;
根据接收到的网站页面的进入时间戳和离开网站页面的时间戳之间的时间差计算获取该网站页面停留时长数据。
如图3所示,本实施例提供一种网站页面数据采集与统计方法的应用架构,包括终端和数据库服务器。终端31可以是智能手机、平板电脑、便携式个人计算机等任何智能设备,用于实现本发明中的网站页面数据采集方法。终端31上可以安装有各种浏览器、各种网站平台等,用户通过终端31中浏览各网站页面。数据库服务器32可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。用于接收、存储和处理终端31采集后发送的各种网站页面基础数据,实现本发明的网站页面数据统计方法。终端31与数据库服务器32之间可以通过网络服务相连,实现相互之间的通信。
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解,本发明还提供一种计算机程序产品,包括一个或多个计算机指令。根据所述网站页面类型、技术框架类型及路由模式的不同采用不同的代码模块,并将不同的代码模块集成封装以实现所述网站页面数据采集方法。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
参阅图4,本实施例提供一种电子设备,电子设备可以是台式机、便携式电脑、智能手机、平板电脑等设备。详细的,电子设备至少包括通过总线41连接的:存储器42、处理器43,通信接口44,其中,通信接口44用于用于实现数据访问装置与其他设备之间的通信其中,存储器42用于存储计算机程序,处理器43用于执行存储器42存储的计算机程序,以执行前述方法网页页面终端所执行的全部或部分步骤,或者执行前述服务器所执行的全部或部分步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述,本发明提供的一种网站页面数据采集与统计方法、存储介质及设备,实现了将不同网页类型、技术栈、路由类型的路由跳转监听方式统一集成封装,用户在此基础上引入监听文件实现全面数据监控和采集,能够做到不破坏原有网站页面实现逻辑,自动将数据推送并存入服务器数据库中,数据全面、真实,非常方便和快捷。用户可以通过SaaS平台自动查询数据库获取数据,并且能在SaaS平台的可视化界面查看不通维度的统计数据,方便用户进行数据分析并以此制定运营策略或网站改进措施。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种网站页面数据采集方法,其特征在于,应用于终端,所述方法包括:
获取进入网站页面的时间和打开网站页面的用户信息数据;
通过监听PerformanceObserver对象获取所述网站页面的性能指标基础数据;
判断网站页面类型、技术框架类型及路由模式并根据判断结果选取监听事件;
根据监听事件获取所述用户进入页面时间数据和离开页面时间数据;
将所述数据发送至服务器并存入数据库中以供数据库服务器统计获取所述网站页面的pv、uv、性能指标以及停留时长数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据打开网站页面的用户信息判断所述用户是否为新用户,若所述用户为新用户,则根据所述用户的身份信息数据生成唯一身份标识;
将所述打开网站页面的用户的唯一身份标识作为参数通过接口发送到服务器并存入数据库中。
3.根据权利要求1所述的方法,其特征在于,获取所述网站页面的性能指标基础数据包括通过监听PerformanceObserver的navigation事件获取页面开始请求时间、dom元素加载完成时间、导航结束时间,其中,所述时间在对应事件发生加以时间戳进行记录。
4.根据权利要求1所述的方法,其特征在于,还包括:
判断所述网站页面所属页面类型;
当所述网站页面为多页应用时,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,将所述用户关闭网站页面的时间作为离开所述网站页面的时间;
当所述网站页面为单页应用时:判断所述单页应用采用的技术框架:
第一、所述单页应用采用的技术框架为react技术框架时,判断所述react技术框架采用的路由模式:当所述路由模式为hash路由时,调用onhashchange事件进行监听路由切换以获取所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;当所述路由模式为browser路由时,调用pushState和replaceState事件进行监听监听路由切换以获取所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;
第二、所述单页应用采用的技术框架为vue技术框架时,获取所述vue技术框架采用的路由模式,当所述路由模式为hash路由或browser路由时,调用popState事件进行监听路由切换以获取所述所述用户离开当前页面的时间和进入下一个页面的时间,调用beforeunload事件进行监听获取所述用户关闭网站页面的时间,在路由未进行切换时将所述用户关闭网站页面的时间作为离开所述网站页面的时间;
其中,获取的时间数据在对应事件发生时加以时间戳进行记录。
5.根据权利要求4所述的方法,其特征在于,还包括:
当所述网站页面为多页应用,通过navigator.sendBeacon调用接口进行发送所述数据;
当所述网站页面为单页应用,通过ajax调用接口进行发送所述数据。
6.根据权利要求4所述的方法,其特征在于,还包括:根据所述网站页面类型、技术框架类型及路由模式的不同采用不同的代码模块,并将不同的代码模块集成封装以实现所述方法。
7.一种网站页面数据统计方法,其特征在于,应用于数据库服务器,所述方法包括:
根据所述用户唯一身份标识存入数据库的请求数统计所述网站页面的pv数据;
将所述网站页面的pv数据根据所述用户唯一身份标识进行处理以获取所述网站页面的uv数据;
根据所述页面开始请求时间戳和导航结束时间戳计算获取所述网站页面白屏时间;
根据所述页面开始请求时间戳和dom加载完成时间戳计算获取所述网站页面白屏时间;
根据所述同一网站页面的进入时间戳和离开所述网站页面的时间戳计算获取所述网站页面停留时长数据。
8.一种计算机可读存储介质,其中存储有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现如权利要求1至6中任一所述的网站页面数据采集方法,或如权利要求7中任一所述的网站页面数据统计方法。
9.一种电子设备,其特征在于,包括:处理器、存储器及通信接口;其中,
所述存储器用于存储计算机程序;
所述处理器用于加载执行所述计算机程序,以使所述电子设备执行如权利要求1至6中任一所述的网站页面数据采集方法,或如权利要求7中任一所述的网站页面数据统计方法;
所述通信接口用于实现访问装置与其他设备之间的通信。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972035.1A CN113761443A (zh) | 2021-08-24 | 2021-08-24 | 一种网站页面数据采集与统计方法、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972035.1A CN113761443A (zh) | 2021-08-24 | 2021-08-24 | 一种网站页面数据采集与统计方法、存储介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113761443A true CN113761443A (zh) | 2021-12-07 |
Family
ID=78790903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110972035.1A Pending CN113761443A (zh) | 2021-08-24 | 2021-08-24 | 一种网站页面数据采集与统计方法、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113761443A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114003471A (zh) * | 2022-01-04 | 2022-02-01 | 深圳市明源云科技有限公司 | 页面加载分析方法、设备及可读存储介质 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080104224A1 (en) * | 2006-10-27 | 2008-05-01 | Litofsky Richard T | Method and apparatus for determining application responsiveness over a network |
EP3070908A1 (en) * | 2015-03-17 | 2016-09-21 | Alcatel Lucent | Methods, server and client for multi-part interactive content delivery |
CN106021583A (zh) * | 2016-06-02 | 2016-10-12 | 北京京东尚科信息技术有限公司 | 页面流量数据的统计方法及其系统 |
CN106897215A (zh) * | 2017-01-20 | 2017-06-27 | 华南理工大学 | 一种基于WebView网页加载性能及用户行为流数据采集的方法 |
US20170262516A1 (en) * | 2012-07-26 | 2017-09-14 | Eliot Horowitz | Aggregation framework system architecture and method |
CN107609139A (zh) * | 2017-09-20 | 2018-01-19 | 北京金堤科技有限公司 | 一种数据处理方法及装置 |
CN108282353A (zh) * | 2017-03-27 | 2018-07-13 | 广州市动景计算机科技有限公司 | 浏览信息量统计方法、装置及电子终端 |
CN108416038A (zh) * | 2018-03-14 | 2018-08-17 | 北京网信云服信息科技有限公司 | 一种单页应用的数据统计方法及装置 |
CN109977384A (zh) * | 2019-03-12 | 2019-07-05 | 深圳点猫科技有限公司 | 一种适用于数据平台的通用报表实现方法及电子设备 |
CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
CN110737591A (zh) * | 2019-09-16 | 2020-01-31 | 腾讯音乐娱乐科技(深圳)有限公司 | 网页性能评估方法、装置、服务器及存储介质 |
US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
CN110889065A (zh) * | 2018-08-15 | 2020-03-17 | 北京国双科技有限公司 | 页面停留时长确定方法、装置与设备 |
CN111177605A (zh) * | 2019-12-20 | 2020-05-19 | 中国平安财产保险股份有限公司 | 单页面的加载性能监控方法、装置及相关设备 |
CN111628904A (zh) * | 2020-04-28 | 2020-09-04 | 广东职业技术学院 | 一种跨境电商流量的质量评价方法及系统 |
CN111641588A (zh) * | 2020-04-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 网页模拟输入检测方法、装置、计算机设备及存储介质 |
CN111901192A (zh) * | 2020-07-15 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 一种页面访问数据的统计方法及装置 |
CN112929237A (zh) * | 2021-02-26 | 2021-06-08 | 携程旅游网络技术(上海)有限公司 | 网站细分流量的分析方法、系统、设备和介质 |
-
2021
- 2021-08-24 CN CN202110972035.1A patent/CN113761443A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080104224A1 (en) * | 2006-10-27 | 2008-05-01 | Litofsky Richard T | Method and apparatus for determining application responsiveness over a network |
US20170262516A1 (en) * | 2012-07-26 | 2017-09-14 | Eliot Horowitz | Aggregation framework system architecture and method |
EP3070908A1 (en) * | 2015-03-17 | 2016-09-21 | Alcatel Lucent | Methods, server and client for multi-part interactive content delivery |
CN106021583A (zh) * | 2016-06-02 | 2016-10-12 | 北京京东尚科信息技术有限公司 | 页面流量数据的统计方法及其系统 |
CN106897215A (zh) * | 2017-01-20 | 2017-06-27 | 华南理工大学 | 一种基于WebView网页加载性能及用户行为流数据采集的方法 |
CN108282353A (zh) * | 2017-03-27 | 2018-07-13 | 广州市动景计算机科技有限公司 | 浏览信息量统计方法、装置及电子终端 |
US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
CN107609139A (zh) * | 2017-09-20 | 2018-01-19 | 北京金堤科技有限公司 | 一种数据处理方法及装置 |
CN108416038A (zh) * | 2018-03-14 | 2018-08-17 | 北京网信云服信息科技有限公司 | 一种单页应用的数据统计方法及装置 |
CN110889065A (zh) * | 2018-08-15 | 2020-03-17 | 北京国双科技有限公司 | 页面停留时长确定方法、装置与设备 |
CN109977384A (zh) * | 2019-03-12 | 2019-07-05 | 深圳点猫科技有限公司 | 一种适用于数据平台的通用报表实现方法及电子设备 |
CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
CN110737591A (zh) * | 2019-09-16 | 2020-01-31 | 腾讯音乐娱乐科技(深圳)有限公司 | 网页性能评估方法、装置、服务器及存储介质 |
CN111177605A (zh) * | 2019-12-20 | 2020-05-19 | 中国平安财产保险股份有限公司 | 单页面的加载性能监控方法、装置及相关设备 |
CN111628904A (zh) * | 2020-04-28 | 2020-09-04 | 广东职业技术学院 | 一种跨境电商流量的质量评价方法及系统 |
CN111641588A (zh) * | 2020-04-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 网页模拟输入检测方法、装置、计算机设备及存储介质 |
CN111901192A (zh) * | 2020-07-15 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 一种页面访问数据的统计方法及装置 |
CN112929237A (zh) * | 2021-02-26 | 2021-06-08 | 携程旅游网络技术(上海)有限公司 | 网站细分流量的分析方法、系统、设备和介质 |
Non-Patent Citations (3)
Title |
---|
YUXIAOLIANG: "在单页应用中,如何优雅的监听url的变化", pages 1 - 8, Retrieved from the Internet <URL:https://juejin.cn/post/6844903749358452744> * |
京东设计中心JDC: "SPA 路由三部曲之核心原理", pages 17 - 20, Retrieved from the Internet <URL:https://www.sohu.com/a/435837697_487492> * |
刘玉春: "Saygo网站流量的大数据分析系统设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 163 - 168 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114003471A (zh) * | 2022-01-04 | 2022-02-01 | 深圳市明源云科技有限公司 | 页面加载分析方法、设备及可读存储介质 |
CN114003471B (zh) * | 2022-01-04 | 2022-04-08 | 深圳市明源云科技有限公司 | 页面加载分析方法、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
CN106953740B (zh) | 应用中页面访问数据的处理方法、客户端、服务器及系统 | |
CN108847977B (zh) | 一种业务数据的监控方法、存储介质和服务器 | |
CN110377569B (zh) | 日志监控方法、装置、计算机设备和存储介质 | |
CN112486708B (zh) | 页面操作数据的处理方法和处理系统 | |
US9009850B2 (en) | Database management by analyzing usage of database fields | |
CN107463479A (zh) | 一种社交数据监控系统 | |
CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
CN102857369A (zh) | 一种网站日志保存系统及方法和装置 | |
CN112256682B (zh) | 一种多维异构数据的数据质量检测方法及装置 | |
CN111083008A (zh) | 一种基于nginx的流量采集分析方法 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN113761443A (zh) | 一种网站页面数据采集与统计方法、存储介质及设备 | |
CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
CN112491650A (zh) | 动态分析服务之间调用环路情况的方法及相关设备 | |
CN112256734A (zh) | 一种大数据处理方法、装置、系统、设备和存储介质 | |
CN110650126A (zh) | 一种防网站流量攻击方法、装置以及智能终端、存储介质 | |
CN107798009A (zh) | 数据聚合方法、装置及系统 | |
CN110020166A (zh) | 一种数据分析方法及相关设备 | |
CN115309638A (zh) | 协助模型优化的方法及装置 | |
CN112416699A (zh) | 指标数据收集方法及系统 | |
CN113722194B (zh) | 日志统计方法、装置、设备及存储介质 | |
CN116150542B (zh) | 一种动态页面的生成方法和装置及存储介质 | |
CN113177148B (zh) | 一种数据推送方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211207 |
|
WD01 | Invention patent application deemed withdrawn after publication |