CN115618151A - 一种基于机器学习的web前端监控方法、系统、装置及介质 - Google Patents
一种基于机器学习的web前端监控方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN115618151A CN115618151A CN202211297421.6A CN202211297421A CN115618151A CN 115618151 A CN115618151 A CN 115618151A CN 202211297421 A CN202211297421 A CN 202211297421A CN 115618151 A CN115618151 A CN 115618151A
- Authority
- CN
- China
- Prior art keywords
- data
- early warning
- machine learning
- risk early
- errors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010801 machine learning Methods 0.000 title claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000004140 cleaning Methods 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000007619 statistical method Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- QLKDMIUEWFNEPV-UHFFFAOYSA-N 4,5,6,7-Tetrachloro-2-trifluoromethylbenzimidazole Chemical compound ClC1=C(Cl)C(Cl)=C2NC(C(F)(F)F)=NC2=C1Cl QLKDMIUEWFNEPV-UHFFFAOYSA-N 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提出的一种基于机器学习的web前端监控方法、系统、装置及介质，所述方法在前端引入Tensorflow.js平台,在用户访问前端页面后，收集各种前端监控数据，通过Tensorflow.js对收集的数据样本进行数据清洗、特征转换，并引入相应的异常检测及风险预警算法，进行异常检测模型和风险预警模型训练，最后通过训练好的模型对收集的异常数据进行对应的指标规则分类计算，以根据分类计算结果和风险程度划分标准识别监控对象的风险，根据风险进行智能提醒，并将结果上传数据库。本发明能够提升Web前端异常数据分析预警的准确性和可靠性，减少人工依赖，使数据分析预警从后端前置到前端进行处理，从而减少服务器的压力，大大提高Web页面的性能、提升终端用户的使用体验。
Description
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种基于机器学习的web前端监控方法、系统、装置及介质。
背景技术
随着互联网的快速发展，Web应用性能管理理念逐渐普及，越来越多的企业、开发者认识到Web应用性能、稳定性等指标作为产品质量的重要组成部分，很大程度上决定着终端用户的使用感受，然而对真实终端用户的页面加载和页面运行时的状态监控是非常欠缺的，在有限的Web前端监控方案中，前端收集到的监控数据需上报给后端进行分析处理及预警，这就会产生性能问题，增加服务器的压力，而且即使收集到了Web前端的异常信息及数据，也无法对这些数据进行多维度、准确有效实用的分析以及预警。
现有技术中，普遍采用从前端收集所有的预置监控数据信息，将数据发送到后端服务器后再进行数据的分析处理及相应告警。这种方式首先在上报过程中可能会产生性能上的影响，服务器压力大，其次没有异常数据的自学习能力，只能根据预置的分析算法进行分析处理，准确性较差，对人工依赖性大，最后，随着访问量变大，前端页面的异常可能产生多维异常情况，无法对这种多维的异常数据进行准确可靠地分析处理，提供合理的告警，用户体验较差。
发明内容
针对以上问题，本发明的目的在于提供一种基于机器学习的web前端监控方法、系统、装置及介质，采用基于机器学习算法对前端异常信息及数据进行数据清洗、特征转换、模型训练、模型评估，最终输出异常分析结果并进行异常预警，提升了Web前端异常数据分析预警的准确性和可靠性。
本发明为实现上述目的，通过以下技术方案实现：一种基于机器学习的web前端监控方法，包括：
在用户访问浏览器时通过前端代码埋点获取相应的监控数据；监控数据包括：环境数据、性能数据、异常数据和业务数据；
在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型；
读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果；
将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
进一步，所述方法还包括：将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
进一步，所述环境数据包括：指异常来源页面信息、浏览器类型版本信息和用户信息；
所述业务数据包括：用户在线时长、页面浏览量或点击量PV、网页浏览者的身份信息UV和用户分布数据。
进一步，所述性能数据包括网络层面指标和页面展示层面指标；
网络层面指标包括：DNS解析耗时、重定向耗时、TCP连接耗时、TTFB网络请求耗时、数据传输耗时和资源加载耗时；
页面展示层面指标包括：首次绘制指标FP、首次内容绘制指标FCP、最大内容渲染指标LCP、首次有效绘制指标FMP、事件触发指标DCL、资源加载触发指标L。
进一步，所述异常数据包括运行时错误和接口错误；
运行时错误包括：语法错误、类型错误、范围错误、引用错误、eval错误、URL错误和资源加载错误；
接口错误包括通过XHR和Fetch获取数据时产生的错误。
进一步，所述使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型，包括：
检测收集到的监控数据是否存在缺失数据，如有缺失则使用均值算法对缺失数据进行填补，并根据需求对特定类型的数据进行数据类型转换；
对经过数据清洗处理的监控数据依次进行异常类别字段编码化、标签字段独热化、连续型特征标准化和归一化；
数据处理完后选择异常检测和风险预警算法训练异常检测模型和风险预警模型，并对训练后的模型进行保存。
进一步，所述连续型特征标准化和归一化，包括：
计算监控数据特征的均值x和标准差Sx，然后根据公式
变换变量；
将单个样本缩放成单位范数，对数据集行向量的进行处理。
相应的，本发明还公开了一种基于机器学习的web前端监控系统，包括：数据获取模块，用于在用户访问浏览器时通过前端代码埋点获取相应的监控数据；
模型训练模块，用于在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型；
数据分析模块，用于读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果；
展示模块，用于将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示；
存储模块，用于将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
相应的，本发明公开了一种基于机器学习的web前端监控装置，包括：
存储器，用于存储基于机器学习的web前端监控程序；
处理器，用于执行所述基于机器学习的web前端监控程序时实现如上文任一项所述基于机器学习的web前端监控方法的步骤。
相应的，本发明公开了一种可读存储介质，所述可读存储介质上存储有基于机器学习的web前端监控程序，所述基于机器学习的web前端监控程序被处理器执行时实现如上文任一项所述基于机器学习的web前端监控方法的步骤。
对比现有技术，本发明有益效果在于：本发明公开了一种基于机器学习的web前端监控方法、系统、装置及介质，在前端引入Tensorflow.js平台,在用户访问前端页面后，收集各种前端监控数据，通过Tensorflow.js对收集的数据样本进行数据清洗、特征转换，并引入相应的异常检测及风险预警算法，进行异常检测模型和风险预警模型训练，最后通过训练好的模型对收集的异常数据进行对应的指标规则分类计算，以根据分类计算结果和风险程度划分标准识别监控对象的风险，根据风险进行智能提醒，并将结果上传数据库。
本发明能够提升Web前端异常数据分析预警的准确性和可靠性，减少人工依赖，使数据分析预警从后端前置到前端进行处理，从而减少服务器的压力，大大提高Web页面的性能、提升终端用户的使用体验。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明具体实施方式的方法流程图。
图2是本发明具体实施方式的系统结构图。
图中，1、数据获取模块；2、模型训练模块；3、数据分析模块；4、展示模块；5、存储模块。
具体实施方式
本发明的核心是提供一种基于机器学习的web前端监控方法，现有技术中，采用从前端收集所有的预置监控数据信息，将数据发送到后端服务器后再进行数据的分析处理及相应告警。这种方式首先在上报过程中可能会产生性能上的影响，服务器压力大，其次没有异常数据的自学习能力，只能根据预置的分析算法进行分析处理，准确性较差，对人工依赖性大，最后，随着访问量变大，前端页面的异常可能产生多维异常情况，无法对这种多维的异常数据进行准确可靠地分析处理，提供合理的告警，用户体验较差。
而本发明提供的基于机器学习的web前端监控方法，在前端引入Tensorflow.js平台,在用户访问前端页面后，收集各种前端监控数据，通过Tensorflow.js对收集的数据样本进行数据清洗、特征转换，并引入相应的异常检测及风险预警算法，进行异常检测模型和风险预警模型训练，最后通过训练好的模型对收集的异常数据进行对应的指标规则分类计算，以根据分类计算结果和风险程度划分标准识别监控对象的风险，根据风险进行智能提醒，并将结果上传数据库。由此可见，本发明能够提升Web前端异常数据分析预警的准确性和可靠性，减少人工依赖，使数据分析预警从后端前置到前端进行处理，从而减少服务器的压力，大大提高Web页面的性能、提升终端用户的使用体验。
为了使本技术领域的人员更好地理解本发明方案，本发明涉及的英文专用名词及相应的中文定义如下表所示：
下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1所示，本实施例提供了一种基于机器学习的web前端监控方法，包括如下步骤：
S1：在用户访问浏览器时通过前端代码埋点获取相应的监控数据。
监控数据包括：环境数据、性能数据、异常数据和业务数据。其中，环境数据包括异常来源页面、浏览器类型版本信息、用户信息等等，主要指标包括url、ua、token等；性能数据包括网络层面和页面展示层面，网络层面的主要指标包括DNS解析耗时、重定向耗时、TCP连接耗时、TTFB网络请求耗时、数据传输耗时、资源加载耗时等等，页面展示层主要指标包括FP、FCP、LCP、FMP、DCL、L等；异常数据包括运行时错误、接口错误，其中运行时错误的主要指标有语法错误、类型错误、范围错误、引用错误、eval错误、URL错误、资源加载错误等，接口错误是通过XHR和Fetch获取数据时产生的错误；业务数据主要指标包括用户在线时长、PV、UV、用户分布等。
S2：在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型。
具体来说，首先，检测收集到的监控数据是否存在缺失数据，如有缺失则使用均值算法对缺失数据进行填补，并根据需求对特定类型的数据进行数据类型转换。然后，对经过数据清洗处理的监控数据依次进行异常类别字段编码化、标签字段独热化、连续型特征标准化和归一化。数据处理完后选择异常检测和风险预警算法训练异常检测模型和风险预警模型，并对训练后的模型进行保存。
作为示例的，本步骤具体包括：
1、加载Tensorflow.js SDK。
2、将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型。
具体来说，数据清洗是保证收集到的数据没有缺失数据，如有缺失则预定规则对其进行填补(如使用均值或指定算法填补)，对需要特定类型的数据进行数据类型转换(如将字符串转换为数值型)。
数据转换是对上一步得到的数据进行特征转换，以便于机器学习算法学习及对多维度数据的合并分析处理，主要包括异常类别字段编码化，标签字段独热化(不同的监控数据有不同的指标类型，属于离散型样本，为了便于计算将它们进行独热化处理转化为数字)，连续型特征标准化和归一化，从而加快算法学习的速度和准确性，避免不同维度数据不同指标导致的学习误差。
其中，连续型特征标准化和归一化的原理包括：不同特征的取值范围不同，标准化可以将这些特征缩放到相同的范围，是对数据集列向量的处理，先计算特征的均值
和标准差Sx，然后根据公式
变换变量；归一化则是将单个样本缩放成单位范数的过程，是对数据集行向量的处理,公式为(默认L2范数情况)
3、数据处理完后选择合适的异常检测和风险预警算法进行模型训练，包括异常检测模型和风险预警模型，并对训练后的模型进行保存。
S3：读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果。
S4：将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
将得到的异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示，以便于用户查看。
S5：将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
将异常检测结果和风险预警结果发送到后端服务器，存储到数据库，以便查询和交互以及进一步的数据分析及处理。
本实施例提供了一种基于机器学习的web前端监控方法，能够提升Web前端异常数据分析预警的准确性和可靠性，减少人工依赖，使数据分析预警从后端前置到前端进行处理，从而减少服务器的压力，大大提高Web页面的性能、提升终端用户的使用体验。
实施例二：
基于实施例一，如图2所示，本发明还公开了一种基于机器学习的web前端监控系统，包括：数据获取模块1、模型训练模块2、数据分析模块3、展示模块4和存储模块5。
数据获取模块1，用于在用户访问浏览器时通过前端代码埋点获取相应的监控数据。
模型训练模块2，用于在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型。
数据分析模块3，用于读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果。
展示模块4，用于将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
存储模块5，用于将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
本实施例提供了一种基于机器学习的web前端监控系统，实现了在前端引入Tensorflow.js平台,在用户访问前端页面后，收集各种前端监控数据，通过Tensorflow.js对收集的数据样本进行数据清洗、特征转换，并引入相应的异常检测及风险预警算法，进行异常检测模型和风险预警模型训练，最后通过训练好的模型对收集的异常数据进行对应的指标规则分类计算，以根据分类计算结果和风险程度划分标准识别监控对象的风险，根据风险进行智能提醒，并将结果上传数据库。本系统有效提升了Web前端异常数据分析预警的准确性和可靠性。
实施例三：
本实施例公开了一种基于机器学习的web前端监控装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的基于机器学习的web前端监控程序时实现以下步骤：
1、在用户访问浏览器时通过前端代码埋点获取相应的监控数据；监控数据包括：环境数据、性能数据、异常数据和业务数据。
2、在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型。
3、读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果。
4、将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
5、将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
进一步的，本实施例中的基于机器学习的web前端监控装置，还可以包括：
输入接口，用于获取外界导入的基于机器学习的web前端监控程序，并将获取到的基于机器学习的web前端监控程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。
通讯单元，用于在基于机器学习的web前端监控装置和外部服务器之间建立远程通讯连接，以便于基于机器学习的web前端监控装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器，用于运行服务器供电线路短路定位过程的相关信息进行实时显示。
鼠标，可以用于协助用户输入数据并简化用户的操作。
实施例四：
本实施例还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有基于机器学习的web前端监控程序，所述基于机器学习的web前端监控程序被处理器执行时实现以下步骤：
1、在用户访问浏览器时通过前端代码埋点获取相应的监控数据；监控数据包括：环境数据、性能数据、异常数据和业务数据。
2、在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型。
3、读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果。
4、将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
5、将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
综上所述，本发明能够提升Web前端异常数据分析预警的准确性和可靠性，减少人工依赖，使数据分析预警从后端前置到前端进行处理，从而减少服务器的压力，大大提高Web页面的性能、提升终端用户的使用体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的基于机器学习的web前端监控方法、系统、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于机器学习的web前端监控方法，其特征在于，包括：
在用户访问浏览器时通过前端代码埋点获取相应的监控数据；监控数据包括：环境数据、性能数据、异常数据和业务数据；
在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型；读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果；
将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示。
2.根据权利要求1所述的基于机器学习的web前端监控方法，其特征在于，所述方法还包括：将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
3.根据权利要求1所述的基于机器学习的web前端监控方法，其特征在于，所述环境数据包括：指异常来源页面信息、浏览器类型版本信息和用户信息；
所述业务数据包括：用户在线时长、页面浏览量或点击量PV、网页浏览者的身份信息UV和用户分布数据。
4.根据权利要求1所述的基于机器学习的web前端监控方法，其特征在于，所述性能数据包括网络层面指标和页面展示层面指标；
网络层面指标包括：DNS解析耗时、重定向耗时、TCP连接耗时、TTFB网络请求耗时、数据传输耗时和资源加载耗时；
页面展示层面指标包括：首次绘制指标FP、首次内容绘制指标FCP、最大内容渲染指标LCP、首次有效绘制指标FMP、事件触发指标DCL、资源加载触发指标L。
5.根据权利要求1所述的基于机器学习的web前端监控方法，其特征在于，所述异常数据包括运行时错误和接口错误；
运行时错误包括：语法错误、类型错误、范围错误、引用错误、eval错误、URL错误和资源加载错误；
接口错误包括通过XHR和Fetch获取数据时产生的错误。
6.根据权利要求1所述的基于机器学习的web前端监控方法，其特征在于，所述使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型，包括：
检测收集到的监控数据是否存在缺失数据，如有缺失则使用均值算法对缺失数据进行填补，并根据需求对特定类型的数据进行数据类型转换；
对经过数据清洗处理的监控数据依次进行异常类别字段编码化、标签字段独热化、连续型特征标准化和归一化；
数据处理完后选择异常检测和风险预警算法训练异常检测模型和风险预警模型，并对训练后的模型进行保存。
7.根据权利要求6所述的基于机器学习的web前端监控方法，其特征在于，所述连续型特征标准化和归一化，包括：
计算监控数据特征的均值
和标准差Sx，然后根据公式
变换变量；
将单个样本缩放成单位范数，对数据集行向量的进行处理。
8.一种基于机器学习的web前端监控系统，其特征在于，包括：
数据获取模块，用于在用户访问浏览器时通过前端代码埋点获取相应的监控数据；
模型训练模块，用于在前端加载Tensorflow.js平台，将收集到的前端监控数据作为样本，使用TensorFlow.js进行数据清洗、数据转换、模型训练，并保存训练后的模型；
数据分析模块，用于读取训练好的模型，对用户访问浏览器时获取的前端监控数据进行分析，得到异常分类计算结果数据，根据分类计算结果数据和预置的风险程度，确定异常检测结果和风险预警结果；
展示模块，用于将异常检测结果和风险预警结果返回到前端，通过统计分析图表在浏览器进行展示；
存储模块，用于将异常检测结果和风险预警结果发送到后端服务器，存储到数据库。
9.一种基于机器学习的web前端监控装置，其特征在于，包括：
存储器，用于存储基于机器学习的web前端监控程序；
处理器，用于执行所述基于机器学习的web前端监控程序时实现如权利要求1至7任一项权利要求所述的基于机器学习的web前端监控方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有基于机器学习的web前端监控程序，所述基于机器学习的web前端监控程序被处理器执行时实现如权利要求1至7任一项权利要求所述的RBD虚拟机的批量升级方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211297421.6A CN115618151A (zh) | 2022-10-21 | 2022-10-21 | 一种基于机器学习的web前端监控方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211297421.6A CN115618151A (zh) | 2022-10-21 | 2022-10-21 | 一种基于机器学习的web前端监控方法、系统、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115618151A true CN115618151A (zh) | 2023-01-17 |
Family
ID=84864931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211297421.6A Pending CN115618151A (zh) | 2022-10-21 | 2022-10-21 | 一种基于机器学习的web前端监控方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115618151A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116672721A (zh) * | 2023-07-31 | 2023-09-01 | 欢喜时代(深圳)科技有限公司 | 一种游戏推广网页实时管理方法及系统 |
-
2022
- 2022-10-21 CN CN202211297421.6A patent/CN115618151A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116672721A (zh) * | 2023-07-31 | 2023-09-01 | 欢喜时代(深圳)科技有限公司 | 一种游戏推广网页实时管理方法及系统 |
| CN116672721B (zh) * | 2023-07-31 | 2023-10-13 | 欢喜时代(深圳)科技有限公司 | 一种游戏推广网页实时管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284372B (zh) | 用户操作行为分析方法、电子装置及计算机可读存储介质 | |
| CN114496264B (zh) | 基于多维数据的健康指数分析方法、装置、设备及介质 | |
| CN112085565A (zh) | 基于深度学习的信息推荐方法、装置、设备及存储介质 | |
| CN116257406A (zh) | 用于智慧城市的网关数据管理方法及其系统 | |
| CN115618151A (zh) | 一种基于机器学习的web前端监控方法、系统、装置及介质 | |
| CN116015842A (zh) | 一种基于用户访问行为的网络攻击检测方法 | |
| CN114722091A (zh) | 数据处理方法、装置、存储介质以及处理器 | |
| CN114692778A (zh) | 用于智能巡检的多模态样本集生成方法、训练方法及装置 | |
| CN114595765A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113806492A (zh) | 基于语义识别的记录生成方法、装置、设备及存储介质 | |
| CN113869456A (zh) | 采样监测方法、装置、电子设备及存储介质 | |
| CN116185243B (zh) | 一种人机交互数据处理评估预警系统 | |
| CN112130944A (zh) | 页面异常的检测方法、装置、设备及存储介质 | |
| CN109857816B (zh) | 测试样本的选取方法及装置、存储介质、电子设备 | |
| CN116164822A (zh) | 基于知识图谱的流量计故障诊断方法、装置、介质 | |
| CN114936326B (zh) | 基于人工智能的信息推荐方法、装置、设备及存储介质 | |
| CN116225848A (zh) | 日志监测方法、装置、设备和介质 | |
| CN113780666B (zh) | 一种缺失值的预测方法及装置、可读存储介质 | |
| CN113343306B (zh) | 基于差分隐私的数据查询方法、装置、设备及存储介质 | |
| CN113609195A (zh) | 报告生成方法、装置、电子设备及存储介质 | |
| CN113535458A (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN110688273B (zh) | 分类模型的监控方法、装置、终端以及计算机存储介质 | |
| CN111414398B (zh) | 数据分析模型确定方法、装置及存储介质 | |
| CN111459781B (zh) | 行为关系确定方法、装置、计算机设备及可读存储介质 | |
| CN110298935B (zh) | 一种获取用户操作习惯信息的方法、诊断设备、及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |