CN117938716A - 一种基于云计算的网络监测数据处理系统、方法及储存介质 - Google Patents
一种基于云计算的网络监测数据处理系统、方法及储存介质 Download PDFInfo
- Publication number
- CN117938716A CN117938716A CN202311593833.9A CN202311593833A CN117938716A CN 117938716 A CN117938716 A CN 117938716A CN 202311593833 A CN202311593833 A CN 202311593833A CN 117938716 A CN117938716 A CN 117938716A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- evaluation
- audience
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 230000006870 function Effects 0.000 claims description 125
- 238000011156 evaluation Methods 0.000 claims description 96
- 238000004458 analytical method Methods 0.000 claims description 81
- 230000005856 abnormality Effects 0.000 claims description 36
- 230000002159 abnormal effect Effects 0.000 claims description 34
- 238000003672 processing method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000003064 k means clustering Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000001595 flow curve Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于云计算的网络监测数据处理系统、方法及储存介质,属于网络监测数据处理技术领域,方法包括:确定受众群体,对受众群体进行分类,获得若干个受众分类,确定各受众分类对应的应用功能和待应用功能;识别各受众分类,为每个受众分类设置对应的操作界面;识别用户信息,根据识别的用户信息匹配对应的受众分类,根据受众分类为用户加载对应的操作界面和应用功能;实时获取各监测目标的监测数据,对获得的监测数据进行分析;通过对受众群体进行分类,为每个受众分类设置对应操作界面,实现根据不同的受众设置对应操作界面,确保不同受众分类用户的正常使用,同时便于后续根据用户信息自动匹配对应的受众分类。
Description
技术领域
本发明属于网络监测数据处理技术领域,具体是一种基于云计算的网络监测数据处理系统、方法及储存介质。
背景技术
随着互联网技术的迅速发展和普及,个人用户对网络质量的要求越来越高。然而,传统的网络监测数据处理系统通常面向企业客户,并具备较高的技术门槛和成本,难以满足个人用户的需求。
个人用户同样面临着网络不稳定、安全隐患等问题,因此,开发一种适用于个人用户的网络监测数据处理系统显得尤为重要。这样的系统应该具备易用性、低成本、轻量化、隐私保护等特点,以满足个人用户在日常生活中的网络监测需求。
然而,当前市场上网络监测数据处理系统存在诸多挑战和缺陷。首先,大多数系统操作复杂,学习成本高,不符合个人用户的简单易用需求。其次,系统资源占用较大,容易导致个人设备性能下降,给用户带来不便。此外,隐私保护问题也备受关注,个人用户需要确保自己的数据安全和隐私不受侵犯。
因此,本发明提出了一种基于云计算的网络监测数据处理系统、方法及储存介质。
发明内容
为了解决上述方案存在的问题,本发明提供了一种基于云计算的网络监测数据处理系统、方法及储存介质,以解决现有的个人用户对网络监测数据处理需求的问题。
本发明的目的可以通过以下技术方案实现:
一种基于云计算的网络监测数据处理方法,方法包括:
步骤SA1:确定受众群体,对所述受众群体进行分类,获得若干个受众分类,确定各所述受众分类对应的应用功能和待应用功能;
进一步地,对受众群体进行分类的方法包括:
获取所述受众群体对应的个人信息,按照预设的各分类项对各所述个人信息进行特征提取,获得各所述分类项对应的分类项数据,将各所述分类项数据整合为个人特征数据;
根据各所述个人特征数据进行聚类,获得若干个聚类;将各所述聚类的聚类中心对应的个人特征数据标记为基准特征数据;根据各所述基准特征数据分析对应的操作界面需求;
将具有相同所述操作界面需求的所述聚类中心对应的聚类进行合并,获得各合并区域;并为各所述合并区域标记对应的操作界面需求;根据各所述合并区域对应的所述受众群体进行分类,获得各受众分类。
进一步地,确定各受众分类对应的应用功能和待应用功能的方法包括:
识别具有的各种数据监测处理功能;从各所述数据监测处理功能中选择N个数据监测处理功能作为基准功能,N为正整数;将非基准功能的数据监测处理功能标记为待选功能;
统计各所述基准功能对应的基准占比;
识别各种所述待选功能和所述基准功能对应的待选使用值和基准使用值;
识别各所述受众分类对应的合并区域的聚类中心,获取所述聚类中对应的个人信息,根据获得的所述个人信息分析各种所述待选功能和所述基准功能的数据监测需求的占比,分别标记为待选需求占比和基准需求占比;
将获得的待选使用值、基准使用值、待选需求占比和基准需求占比分别标记为DXrate、JZrate、DXq和JZqu;u=1、2、……、c,c为正整数,u表示对应的基准功能;
根据公式计算对应待选功能的功能评估值;
式中:DXM为功能评估值;u=1、2、……、c,c为正整数;
将功能评估值不小于0的待选功能和基准功能共同标记为应用功能;
将功能评估值小于0的待选功能标记为待应用功能。
步骤SA2:识别各所述受众分类,为每个所述受众分类设置对应的操作界面;
进一步地,为每个受众分类设置操作界面的方法包括:
步骤SA11:根据各受众分类确定对应的各操作界面需求,根据获得的所述操作界面需求设置对应的待应用界面;
步骤SA12:通过预设评估渠道获取各所述待应用界面的界面评价数据;识别所述界面评价数据中的各单条评价数据,对各所述单条评价数据进行分析,获得对应的评价分析数据;所述评价分析数据包括各所述单条评价数据对应的评价结果和评价原因;
步骤SA13:统计所述评价分析数据中评价不合格的占比,标记为不合格占比,并识别各评价不合格对应的各评价原因;
当所述不合格占比不大于阈值X1时,将对应的待应用界面标记为操作界面;
当不合格占比大于阈值X1时,根据所述评价原因对所述待应用界面进行调整;当所述待应用界面调整后返回步骤SA12。
进一步地,据各评价原因对待应用界面进行调整的方法包括:
统计各评价原因的次数,根据各评价原因次数计算对应的原因占比;
令式中:x为从各评价原因中任选k个评价原因对应的原因占比组合,k为正整数;i=1、2、……、n,n为正整数;z表示原因占比组合中对应的原因占比,z=1、2、……、v,v为正整数;YQCiz表示相应的原因占比;
根据公式计算对应的组合评估值;
式中:Pirity为对应组合的组合评估值;CBiz为相应原因占比对应的评估原因的优化成本;PQC为不合格占比;X1为阈值;
选择最接近0的非负组合评估值对应的组合为目标组合,识别所述目标组合中的各评价原因,标记为目标原因,根据各所述目标原因对待应用界面进行调整。
步骤SA3:识别用户信息,根据识别的所述用户信息匹配对应的受众分类,根据所述受众分类为用户加载对应的操作界面和应用功能;
进一步地,当用户具有需求时,能够手动加载待应用功能为应用功能。
步骤SA4:实时获取各监测目标的监测数据,对获得的所述监测数据进行初始分析,获得对应的监测结果,所述监测结果包括监测异常和监测正常;
当监测结果为监测异常时,结束分析,输出对应的监测结果;
当监测结果为监测正常时,进入步骤SA5;
进一步地,对获得的初始监测数据进行分析的方法包括:
获取大量的历史监测数据,根据获得的历史监测数据建立对应的异常识别模型,通过设置的异常识别模型对监测数据进行初始分析,获得对应的监测结果,监测结果包括监测异常和监测正常。
步骤SA5:对所述监测数据进行预测,获得对应的预测数据;对所述预测数据进行异常分析,获得对应的异常分析结果;异常分析结果包括分析正常和分析异常;
当异常分析结果为分析异常时,结束分析,输出对应的异常分析结果;
当异常分析结果为分析正常时,进入步骤SA6;
步骤SA6:根据所述监测数据和所述预测数据设置数据曲线;拟合所述数据曲线对应的曲线函数,根据所述曲线函数计算对应的综合异常监测值;
当综合异常监测值大于阈值X2时,输出综合监测异常;
当综合异常监测值不大于阈值X2时,输出综合监测正常。
进一步地,综合异常监测值的计算方法包括:
将曲线函数标记为Q(t),在所述数据曲线中设置对应的分割线;
根据所述分割线识别各超标段,将所述超标段标记为[tρ1,tρ2],ρ表示对应的超标段,ρ1表示对应超标段的起点,ρ2表示对应超标段的终点;
根据公式计算对应的综合异常监测值;
式中:ZOP为综合异常监测值;CR为初始异常监测值;ν为符号系数,ν=+1或-1。
进一步地,初始异常监测值的计算方法包括:
获取各监测目标对应的异常值,根据获得的各所述异常值生成对应的异常矩阵异常矩阵中的元素用weo表示,e=1、2、……、j,j为正整数;o=1、2、……、g,g为正整数;
根据公式计算对应的初始异常监测值;
式中:CR为初始异常监测值。
一种基于云计算的网络监测数据处理系统,包括界面模块、监测模块和监测分析模块;
所述界面模块用于进行操作界面设置,确定受众群体,对所述受众群体进行分类,获得若干个受众分类,确定各所述受众分类对应的应用功能和待应用功能;为每个所述受众分类设置对应的操作界面;
识别用户信息,根据识别的所述用户信息匹配对应的受众分类,根据所述受众分类为用户加载对应的操作界面和应用功能。
所述监测模块用于采集对应的监测数据。
所述监测分析模块用于进行监测分析,对获得的所述监测数据进行初始分析,获得对应的监测结果;
当监测结果为监测异常时,结束分析,输出对应的监测结果;
当监测结果为监测正常时,对所述监测数据进行预测,获得对应的预测数据;对所述预测数据进行异常分析,获得对应的异常分析结果;
当异常分析结果为分析异常时,结束分析,输出对应的异常分析结果;
当异常分析结果为分析正常时,根据所述监测数据和所述预测数据设置数据曲线;拟合所述数据曲线对应的曲线函数,根据所述曲线函数计算对应的综合异常监测值;
当综合异常监测值大于阈值X2时,输出综合监测异常;
当综合异常监测值不大于阈值X2时,输出综合监测正常。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现一种基于云计算的网络监测数据处理方法的步骤。
与现有技术相比,本发明的有益效果是:
通过对受众群体进行分类,为每个受众分类设置对应操作界面,实现根据不同的受众设置对应操作界面,确保不同受众分类用户的正常使用,同时便于后续根据用户信息自动匹配对应的受众分类,根据受众分类智能确定对应的操作界面、应用功能和待应用功能,便于后续有选择的加载应用功能,降低系统资源占用;解决当前网络监测数据处理系统操作复杂,学习成本高,不符合个人用户的简单易用需求的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于云计算的网络监测数据处理方法,方法包括:
步骤SA1:确定系统面向的受众群体,对受众群体进行分类,获得若干个受众分类,根据各受众分类确定对应的应用功能和待应用功能;
为每个受众分类设置对应操作界面;
因为不是所有的个人均需要应用网络监测数据处理系统,只有部分具有特殊要求的用户具有相应需求,因此面向的受众是有范围的,可以根据大数据统计分析或者平台方根据自身营业需求直接设置;因为整体的受众范围不一定全部都是平台方的受众群体,一般根据营业范围的需求会有所缩减。
对受众群体进行分类是根据受众群体中如学历、专业、职业等相关分类项进行评估分类,各分类项的设置是根据受众群体对不同专业情况下的操作界面的接受影响进行设置,根据具有的接受影响确定在受众群体中对应的信息,进而设置各信息对应的信息项,标记为分类项;具体的分类过程如下:
模拟设置受众群体中各个人的个人信息,不采用真实信息,因为根据隐私规定无法获得真实的大量的受众群体内的各个人信息,因此,可以根据采用模拟、历史数据等多种现有方式,获取大量的受众群体对应的个人信息;
根据各预设的分类项从受众群体中各个人信息中提取对应的个人特征数据,个人特征数据即为根据各分类项进行数据提取形成各分类项数据后整合的数据;根据获得的各个人特征数据进行聚类,获得若干个聚类;识别各聚类中心对应的个人特征数据,将各聚类中心对应的个人特征数据标记为基准特征数据;根据各基准特征数据分析其对应的操作界面需求,即在该基准特征数据情况下,为了满足用户的操作使用,相应的操作界面需求应该有哪些,整合为该基准特征数据的操作界面需求;
将具有相同操作界面需求的聚类中心对应的聚类进行合并,获得各合并区域,并为各合并区域标记对应的操作界面需求;根据各合并区域对应的受众群体进行分类,获得各受众分类。
其中,对于各个人特征数据进行聚类,具体的聚类方式可以根据现有的K-means聚类算法、层次聚类法等现有的聚类算法进行聚类;
示例性的,以K-means聚类算法为例;
①将各个人特征数据转化为坐标输入到坐标空间中,将坐标空间中的各坐标作为待聚类的对象,然后从这个若干个坐标中任意选择k个作为初始聚类中心,也就是所要聚成k个类别的初始中心;具体k值通过人工的方式进行设置,可以多设置,但是必须大于预估的操作界面种类数量;
②计算每个待聚类对象到所有聚类中心的欧氏距离;并将每个聚类对象划分到距离它最近的聚类中心,作为该类别的一个成员;
③重新计算每个类别的均值,作为该类别新的聚类中心;
④当每个待聚类对象到其所属类别聚类中心的距离之和不能再减小,即算法已经收敛时,终止;否则回到步骤②。
确定各受众分类对应的应用功能和待应用功能的方法包括:
识别具有的各种数据监测处理功能,指的是平台方设置的完全版的相应系统中具有的各种数据监测处理功能;从各数据监测处理功能中选择N个数据监测处理功能作为基准功能,N为正整数,一般指定共用的数据监测处理功能为基准功能,即个人网络监测必需的数据监测处理功能,如网络设备监测功能、网络链路监测功能、流量数据监测功能等;由平台方进行指定;将其他数据监测处理功能标记为待选功能;
统计各基准功能对应的平均需求占比,标记为基准占比;
识别各种待选功能和基准功能对应的系统资源占比,分别标记为待选使用值和基准使用值;
识别各受众分类对应的合并区域的聚类中心,获取聚类中对应的个人信息,根据获得的个人信息分析统计各种待选功能和基准功能的数据监测需求的占比,分别标记为待选需求占比和基准需求占比,即通过历史数据分析该相同个人信息对应具有的各种数据监测需求,以及对应的需求占比;
将获得的待选使用值、基准使用值、待选需求占比和基准需求占比分别标记为DXrate、JZrate、DXq和JZqu;u=1、2、……、c,c为正整数,u表示对应的基准功能;
根据公式计算对应待选功能的功能评估值;
式中:DXM为功能评估值;u=1、2、……、c,c为正整数;
将功能评估值不小于0的待选功能和基准功能共同标记为应用功能;
将功能评估值小于0的待选功能标记为待应用功能。
步骤SA2:识别各受众分类,为每个所述受众分类设置对应的操作界面;
为每个受众分类设置操作界面的方法包括:
步骤SA11:根据各受众分类确定其合并区域对应的操作界面需求,根据获得的操作界面需求,通过技术人员设置对应的操作界面,标记为待应用界面;
步骤SA12:通过评估渠道获取各待应用界面相应评估群体的界面评价数据;如用户社区、相应受众分类用户的体验评价、其他渠道的评价数据;识别获得的界面评价数据中的各单条评价数据,对各单条评价数据进行识别判断,判断其评价是评价合格还是评价不合格,评价不合格的原因是什么,利用数据识别技术进行识别判断分析;获得对应的评价分析数据;评价分析数据包括各单条评价数据对应的评价结果和评价原因,对于评价合格,其评价原因可以为无;
步骤SA13:统计评价分析数据中评价不合格的占比,标记为不合格占比,识别各评价不合格对应的各评价原因;
当不合格占比不大于阈值X1时,表示该待应用界面合格,可以直接应用,将对应的待应用界面标记为该受众分类的操作界面;
当不合格占比大于阈值X1时,表示该待应用界面不合格,需要根据对应的评价原因进行调整;当调整后返回步骤SA12。
根据评价原因进行调整的方法包括:
统计各评价原因的次数,根据各评价原因次数计算其对于评价不合格人数的占比,标记为原因占比;
令式中:x为从各评价原因中任选k个评价原因对应的原因占比组合,k为整数,与K-means聚类算法中的k不相同;i=1、2、……、n,n为正整数;z表示原因占比组合中对应的原因占比,z=1、2、……、v,v为正整数;YQCiz表示相应的原因占比;
根据公式计算对应的组合评估值;
式中:Pirity为对应组合的组合评估值;CBiz为对应原因占比对应的评估原因的优化成本,即预估克服该评估原因所需要的成本;PQC为不合格占比;X1为阈值,与步骤SA13中的阈值X1相同;
选择最接近0的非负组合评估值对应的组合为目标组合,识别目标组合中的各评价原因,标记为目标原因,根据各目标原因对待应用界面进行调整。
通过对受众群体进行分类,为每个受众分类设置对应操作界面,实现根据不同的受众设置对应操作界面,确保不同受众分类用户的正常使用,同时便于后续根据用户信息自动匹配对应的受众分类,根据受众分类智能确定对应的操作界面、应用功能和待应用功能,便于后续有选择的加载应用功能,降低系统资源占用;解决当前网络监测数据处理系统操作复杂,学习成本高,不符合个人用户的简单易用需求的问题。
步骤SA3:识别用户信息,根据识别的用户信息匹配对应的受众分类,根据获得的受众分类为用户加载对应的操作界面和应用功能;
当用户具有需求时,可以手动加载待应用功能;
加载相应的应用功能后,即可进行相应的数据监测、数据采集等。
步骤SA4:实时获取各监测目标的监测数据,监测目标即为需要进行监测的目标,如网络设备、流量数据等;对获得的监测数据进行初始分析,获得对应的监测结果,监测结果包括监测异常和监测正常;
当监测结果为监测异常时,结束分析,输出对应的监测结果;
当监测结果为监测正常时,进入步骤SA5;
对获得的初始监测数据进行分析的方法包括:
获取大量的历史监测数据,根据获得的历史监测数据建立对应的异常识别模型,通过设置的异常识别模型对监测数据进行初始分析,获得对应的监测结果,监测结果包括监测异常和监测正常。
在一个实施例中,异常识别模型是基于孤立森林算法进行建立的,表达式为式中:x为输入,为监测数据;输出为异常值y,y=f(x),若y=1,则监测结果为监测异常;若y=0,则监测结果为监测正常。
在其他实施例中,异常识别模型还可以是基于现有的神经网络进行建立,建立对应的智能模型,通过人工的方式建立对应的训练集进行训练,将训练成功后的智能模型标记为异常识别模型。
步骤SA5:对监测数据进行预测,获得对应的预测数据;通过异常识别模型对预测数据进行异常分析,获得对应的异常分析结果;异常分析结果包括分析正常和分析异常;
当异常分析结果为分析异常时,结束分析,输出对应的异常分析结果;
当异常分析结果为分析正常时,进入步骤SA6;
对监测数据进行预测:
建立数据预测模型,所述数据预测模型用于基于当前的监测数据进行预测,获得对应的监测预测数据;具体的可以直接利用现有的相关网络监测预测技术进行建立,如当前的各种预测网络监测数据的相关系统、模型等;也可以基于CNN网络、DNN网络等神经网络进行重新建立;
通过预设的数据预测模型对获得的监测数据进行分析,获得各监测数据对应的预测数据。
步骤SA6:将当前的监测数据结合预测数据生成对应的数据曲线,根据相应监测数据和后续预测的预测数据生成对应的曲线为现有技术,如流量曲线、延迟曲线、丢包率曲线、带宽利用率曲线等;拟合各数据曲线的曲线函数,根据获得的曲线函数计算对应的综合异常监测值;
当综合异常监测值大于阈值X2时,输出综合监测异常;
当综合异常监测值不大于阈值X2时,输出综合监测正常。
根据获得的曲线函数计算对应的综合异常监测值的方法包括:
将曲线函数标记为Q(t),在数据曲线中标记对应的阈值X3对应的直线,视为分割线,识别超标分割线对应的各时间段,标记为超标段;根据数据曲线的种类不同,超标分割线的对应位置具有差异,如延迟曲线,对于的超标分割线为高于分割线的数据曲线段对应的时间段,对应的符号系数为+1;如带宽利用率曲线,对于的超标分割线为低于分割线的数据曲线段对应的时间段,对应的符号系数为-1;
将超标段标记为[tρ1,tρ2],ρ表示对应的超标段,ρ1表示该超标段的起点,ρ2表示该超标段的终点;
根据公式计算对应的综合异常监测值;
式中:ZOP为综合异常监测值;CR为初始异常监测值;ν为符号系数,ν=+1或-1。
其中,初始异常监测值是根据监测数据进行直接计算的,方法如下:
获取各监测目标对应的异常值y,y=1或0,由异常识别模型分析获得;根据获得的各异常值生成对应的异常矩阵异常矩阵中的元素用weo表示,weo为对应的异常值;e=1、2、……、j,j为正整数;o=1、2、……、g,g为正整数;
根据公式计算对应的初始异常监测值;
式中:CR为初始异常监测值。
一种基于云计算的网络监测数据处理系统,包括界面模块、监测模块和监测分析模块;
所述界面模块用于进行操作界面设置,确定受众群体,对受众群体进行分类,获得若干个受众分类,确定各受众分类对应的应用功能和待应用功能;为每个受众分类设置对应的操作界面;
识别用户信息,根据识别的用户信息匹配对应的受众分类,根据受众分类为用户加载对应的操作界面和应用功能。
所述监测模块用于采集对应的监测数据。
所述监测分析模块用于进行监测分析,对获得的监测数据进行初始分析,获得对应的监测结果,监测结果包括监测异常和监测正常;
当监测结果为监测异常时,结束分析,输出对应的监测结果;
当监测结果为监测正常时,对监测数据进行预测,获得对应的预测数据;对预测数据进行异常分析,获得对应的异常分析结果;异常分析结果包括分析正常和分析异常;
当异常分析结果为分析异常时,结束分析,输出对应的异常分析结果;
当异常分析结果为分析正常时,根据监测数据和预测数据设置数据曲线;拟合数据曲线对应的曲线函数,根据曲线函数计算对应的综合异常监测值;
当综合异常监测值大于阈值X2时,输出综合监测异常;
当综合异常监测值不大于阈值X2时,输出综合监测正常。
在本实施例中具体未公开的部分参照一种基于云计算的网络监测数据处理方法对应的实施例。
本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述一种基于云计算的网络监测数据处理方法实施例中记载的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述公式均是去除量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式,公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法的精神和范围。
Claims (10)
1.一种基于云计算的网络监测数据处理方法,其特征在于,方法包括:
步骤SA1:确定受众群体,对所述受众群体进行分类,获得若干个受众分类,确定各所述受众分类对应的应用功能和待应用功能;
步骤SA2:识别各所述受众分类,为每个所述受众分类设置对应的操作界面;
步骤SA3:识别用户信息,根据识别的所述用户信息匹配对应的受众分类,根据所述受众分类为用户加载对应的操作界面和应用功能;
步骤SA4:实时获取各监测目标的监测数据,对获得的所述监测数据进行初始分析,获得对应的监测结果,所述监测结果包括监测异常和监测正常;
当监测结果为监测异常时,结束分析,输出对应的监测结果;
当监测结果为监测正常时,进入步骤SA5;
步骤SA5:对所述监测数据进行预测,获得对应的预测数据;对所述预测数据进行异常分析,获得对应的异常分析结果;异常分析结果包括分析正常和分析异常;
当异常分析结果为分析异常时,结束分析,输出对应的异常分析结果;
当异常分析结果为分析正常时,进入步骤SA6;
步骤SA6:根据所述监测数据和所述预测数据设置数据曲线;拟合所述数据曲线对应的曲线函数,根据所述曲线函数计算对应的综合异常监测值;
当综合异常监测值大于阈值X2时,输出综合监测异常;
当综合异常监测值不大于阈值X2时,输出综合监测正常。
2.根据权利要求1所述的一种基于云计算的网络监测数据处理方法,其特征在于,步骤SA1中,对受众群体进行分类的方法包括:
获取所述受众群体对应的个人信息,按照预设的各分类项对各所述个人信息进行特征提取,获得各所述分类项对应的分类项数据,将各所述分类项数据整合为个人特征数据;
根据各所述个人特征数据进行聚类,获得若干个聚类;将各所述聚类的聚类中心对应的个人特征数据标记为基准特征数据;根据各所述基准特征数据分析对应的操作界面需求;
将具有相同所述操作界面需求的所述聚类中心对应的聚类进行合并,获得各合并区域;并为各所述合并区域标记对应的操作界面需求;根据各所述合并区域对应的所述受众群体进行分类,获得各受众分类。
3.根据权利要求2所述的一种基于云计算的网络监测数据处理方法,其特征在于,确定各受众分类对应的应用功能和待应用功能的方法包括:
识别具有的各种数据监测处理功能;从各所述数据监测处理功能中选择N个数据监测处理功能作为基准功能,N为正整数;将非基准功能的数据监测处理功能标记为待选功能;
统计各所述基准功能对应的基准占比;
识别各种所述待选功能和所述基准功能对应的待选使用值和基准使用值;
识别各所述受众分类对应的合并区域的聚类中心,获取所述聚类中对应的个人信息,根据获得的所述个人信息分析各种所述待选功能和所述基准功能的数据监测需求的占比,分别标记为待选需求占比和基准需求占比;
将获得的待选使用值、基准使用值、待选需求占比和基准需求占比分别标记为DXrate、JZrate、DXq和JZqu;u=1、2、……、c,c为正整数,u表示对应的基准功能;
根据公式计算对应待选功能的功能评估值;
式中:DXM为功能评估值;u=1、2、……、c,c为正整数;
将功能评估值不小于0的待选功能和基准功能共同标记为应用功能;
将功能评估值小于0的待选功能标记为待应用功能。
4.根据权利要求1所述的一种基于云计算的网络监测数据处理方法,其特征在于,步骤SA2中,为每个受众分类设置操作界面的方法包括:
步骤SA11:根据各受众分类确定对应的各操作界面需求,根据获得的所述操作界面需求设置对应的待应用界面;
步骤SA12:通过预设评估渠道获取各所述待应用界面的界面评价数据;识别所述界面评价数据中的各单条评价数据,对各所述单条评价数据进行分析,获得对应的评价分析数据;所述评价分析数据包括各所述单条评价数据对应的评价结果和评价原因;
步骤SA13:统计所述评价分析数据中评价不合格的占比,标记为不合格占比,并识别各评价不合格对应的各评价原因;
当所述不合格占比不大于阈值X1时,将对应的待应用界面标记为操作界面;
当不合格占比大于阈值X1时,根据所述评价原因对所述待应用界面进行调整;当所述待应用界面调整后返回步骤SA12。
5.根据权利要求4所述的一种基于云计算的网络监测数据处理方法,其特征在于,据各评价原因对待应用界面进行调整的方法包括:
统计各评价原因的次数,根据各评价原因次数计算对应的原因占比;
令式中:x为从各评价原因中任选k个评价原因对应的原因占比组合,k为正整数;i=1、2、……、n,n为正整数;z表示原因占比组合中对应的原因占比,z=1、2、……、v,v为正整数;YQCiz表示相应的原因占比;
根据公式计算对应的组合评估值;
式中:Pirity为对应组合的组合评估值;CBiz为相应原因占比对应的评估原因的优化成本;PQC为不合格占比;X1为阈值;
选择最接近0的非负组合评估值对应的组合为目标组合,识别所述目标组合中的各评价原因,标记为目标原因,根据各所述目标原因对待应用界面进行调整。
6.根据权利要求1所述的一种基于云计算的网络监测数据处理方法,其特征在于,步骤SA3中,当用户具有需求时,手动加载待应用功能为应用功能。
7.根据权利要求1所述的一种基于云计算的网络监测数据处理方法,其特征在于,步骤SA6中,综合异常监测值的计算方法包括:
将曲线函数标记为Q(t),在所述数据曲线中设置对应的分割线;
根据所述分割线识别各超标段,将所述超标段标记为[tρ1,tρ2],ρ表示对应的超标段,ρ1表示对应超标段的起点,ρ2表示对应超标段的终点;
根据公式计算对应的综合异常监测值;
式中:ZOP为综合异常监测值;CR为初始异常监测值;ν为符号系数,ν=+1或-1。
8.根据权利要求7所述的一种基于云计算的网络监测数据处理方法,其特征在于,初始异常监测值的计算方法包括:
获取各监测目标对应的异常值,根据获得的各所述异常值生成对应的异常矩阵异常矩阵中的元素用weo表示,e=1、2、……、j,j为正整数;o=1、2、……、g,g为正整数;
根据公式计算对应的初始异常监测值;
式中:CR为初始异常监测值。
9.一种基于云计算的网络监测数据处理系统,其特征在于,执行权利要求1-8中任意一项所述的一种基于云计算的网络监测数据处理方法,包括界面模块、监测模块和监测分析模块;
所述界面模块用于进行操作界面设置,确定受众群体,对所述受众群体进行分类,获得若干个受众分类,确定各所述受众分类对应的应用功能和待应用功能;为每个所述受众分类设置对应的操作界面;
识别用户信息,根据识别的所述用户信息匹配对应的受众分类,根据所述受众分类为用户加载对应的操作界面和应用功能;
所述监测模块用于采集对应的监测数据;
所述监测分析模块用于所述监测数据进行监测分析。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种基于云计算的网络监测数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311593833.9A CN117938716A (zh) | 2023-11-27 | 2023-11-27 | 一种基于云计算的网络监测数据处理系统、方法及储存介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311593833.9A CN117938716A (zh) | 2023-11-27 | 2023-11-27 | 一种基于云计算的网络监测数据处理系统、方法及储存介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117938716A true CN117938716A (zh) | 2024-04-26 |
Family
ID=90769142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311593833.9A Pending CN117938716A (zh) | 2023-11-27 | 2023-11-27 | 一种基于云计算的网络监测数据处理系统、方法及储存介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117938716A (zh) |
-
2023
- 2023-11-27 CN CN202311593833.9A patent/CN117938716A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021073462A1 (zh) | 基于相似日负荷曲线的10kV静态负荷模型参数辨识方法 | |
EP4020315A1 (en) | Method, apparatus and system for determining label | |
CN110909165A (zh) | 数据处理方法、装置、介质及电子设备 | |
CN108052505A (zh) | 文本情感分析方法及装置、存储介质、终端 | |
US20180041765A1 (en) | Compact video representation for video event retrieval and recognition | |
US20210109140A1 (en) | Method for identifying parameters of 10 kv static load model based on similar daily load curves | |
CN108345670B (zh) | 一种用于95598电力工单的服务热点发现方法 | |
CN113469730A (zh) | 一种非合同场景下的基于RF-LightGBM融合模型的客户复购预测方法及装置 | |
CN110751191A (zh) | 一种图像的分类方法及系统 | |
CN111368911A (zh) | 一种图像分类方法、装置和计算机可读存储介质 | |
CN111970400A (zh) | 骚扰电话识别方法及装置 | |
CN113743796B (zh) | 基于权重的多约束条件双随机抽查方法 | |
CN107093005A (zh) | 基于大数据挖掘算法实现办税服务厅自动分级的方法 | |
CN117938716A (zh) | 一种基于云计算的网络监测数据处理系统、方法及储存介质 | |
CN111241288A (zh) | 一种大集中电力客户服务中心的突发事件感知系统以及构建方法 | |
CN111221915A (zh) | 基于CWK-means的在线学习资源质量分析方法 | |
CN112463964B (zh) | 文本分类及模型训练方法、装置、设备及存储介质 | |
CN114626940A (zh) | 数据分析方法、装置及电子设备 | |
CN114064873A (zh) | 保险领域faq知识库构建方法、装置及电子设备 | |
CN114676931A (zh) | 一种基于数据中台技术的电量预测系统 | |
CN114004513A (zh) | 一种需求预测方法、系统及存储介质 | |
CN113157993A (zh) | 一种基于时序图极化分析的网络水军行为预警模型 | |
CN116233480B (zh) | 基于直播数据的购物直播风格确定方法、系统及存储介质 | |
KR20190104745A (ko) | 이슈 관심도 기반의 뉴스 가치 평가 장치 및 방법, 이를 기록한 기록매체 | |
CN116484230B (zh) | 识别异常业务数据的方法及ai数字人的训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |