CN117640468A - 数据流量监测方法、装置及电子设备 - Google Patents
数据流量监测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117640468A CN117640468A CN202311605792.0A CN202311605792A CN117640468A CN 117640468 A CN117640468 A CN 117640468A CN 202311605792 A CN202311605792 A CN 202311605792A CN 117640468 A CN117640468 A CN 117640468A
- Authority
- CN
- China
- Prior art keywords
- deviation
- basic
- basic characteristic
- variation
- attributes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012544 monitoring process Methods 0.000 title claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 24
- 238000012806 monitoring device Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000002547 anomalous effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 25
- 238000004422 calculation algorithm Methods 0.000 abstract description 16
- 238000012937 correction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种数据流量监测方法、装置及电子设备,涉及数据处理技术领域,其中方法包括:获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标;对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量;根据变化量,计算每个基本特征属性的偏离度值;对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。通过这种方式,添加度量转换处理和偏离度计算,可以简化算法的处理过程,由于数据流量的实时性,在计算过程中动态的更新预置参数,以确保检测的实时性和有效性,适用于实时流量数据处理的场景。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据流量监测方法、装置及电子设备。
背景技术
随着互联网技术的快速发展,分布式环境下的网络应用日益普及,多机部署成为主流。这种部署方式可以带来更多的计算和存储资源,从而提高处理的并发访问和数据量,为大量用户提供服务。然而,随着网络业务流量多样化,恶意流量也日益增多,消耗了大量网络带宽资源,严重影响了网络业务的安全稳定传输。
为了应对这些挑战,现有流量检测方案主要包括基于方差、基于密度、基于支持向量机等方法。以基于支持向量机的方法进行流量检测为例,对现有技术方案的技术问题进行具体说明。
基于支持向量机的方法主要通过计算特征属性点到超平面的距离进行区域学习,如果数据点在超平面区域内表示流量正常,如果超过超平面区域则表示流量异常。但基于支持向量机的方法在处理大规模数据时,计算量迅速增加,导致算法复杂度提高,且耗时较长,难以满足实时性的要求,不适用于实时流量数据处理的场景。
发明内容
有鉴于此,本申请提供了一种数据流量监测方法、装置及电子设备,主要目的在于解决目前现有技术算法复杂度提高,且耗时较长,难以满足实时性的要求,不适用于实时流量数据处理的场景的技术问题。
根据本公开的第一个方面,提供了一种数据流量监测方法,该方法包括:
获取数据流量的多个基本特征属性,以及所述多个基本特征属性对应的度量指标;
对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量;
根据所述变化量,计算每个基本特征属性的偏离度值;
对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数。
根据本公开的第二个方面,提供了一种数据流量监测装置,该装置包括:
获取模块,用于获取数据流量的多个基本特征属性,以及所述多个基本特征属性对应的度量指标;
转换模块,用于对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量;
计算模块,用于根据所述变化量,计算每个基本特征属性的偏离度值;
检查模块,用于对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数。
根据本公开的第三个方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面的方法。
根据本公开的第四个方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行前述第一方面的方法。
本公开提供的数据流量监测方法、装置及电子设备,与现有技术相比,本公开通过获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标;对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量;根据变化量,计算每个基本特征属性的偏离度值;对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。通过这种方式,添加度量转换处理和偏离度计算,可以简化算法的处理过程,由于数据流量的实时性,在计算过程中动态的更新预置参数,以确保检测的实时性和有效性,适用于实时流量数据处理的场景。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术申请,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例所提供的一种数据流量监测方法的流程示意图;
图2为本公开实施例所提供的一种数据流量监测方法的流程示意图;
图3为本公开实施例所提供的一种分布式场景下的实时流量监测系统架构图;
图4为本公开实施例所提供的一种特征属性计算示意图;
图5为本公开实施例所提供的一种数据流量监测装置的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
下面参考附图描述本公开实施例的数据流量监测方法、装置及电子设备。
本公开提供了一种数据流量监测方法、装置及电子设备,既简化了算法的处理过程,又确保了检测的实时性和有效性,适用于实时流量数据处理的场景。
如图1所示,本公开的实施例提供了一种数据流量监测方法,其中,该方法可包括:
步骤101、获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标。
其中,基本特征属性可为从数据流量(即数据包)中提取出的原始特征属性,可以包括:源IP包数量、目的IP包数量、源端口数量、目的端口数量等。
度量指标可用于描述流量数据基本特征属性的量化指标。
对于本公开实施例,执行主体可为数据流量监测装置或设备,通过将检测模型与度量转换处理和偏离度算法结合,可以根据不同的应用场景进行检测,即保证了检测的实时性和有效性,又简化了算法的处理过程,可应用于实时流量数据处理的场景,有效地保障了网络环境的稳定和安全。
步骤102、对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量。
其中,变化量可为在将不同标量的度量指标进行度量转换处理后,各个基本特征属性的度量值之间的差异变化。
度量转换处理可为一种将不同类型或单位的度量指标转换为相同类型或单位的度量过程,度量转换方法可包括线性转换、对数转换、指数转换、非线性转换等,对此不做具体限定。
对于本公开实施例,不同度量指标指标可能使用不同的单位,如长度、重量、时间等。通过度量转换处理,可以将不同的单位转换为相同的单位,便于进行比较和分析。
步骤103、根据变化量,计算每个基本特征属性的偏离度值。
其中,偏离度值可用于衡量流量数据在每个基本特征属性上的偏离程度,偏离度值越小,表明流量数据越接近预期值;偏离度值越大,表明流量数据存在较大的偏差。
对于本公开实施例,可利用偏离度算法根据变化量,计算每个基本特征属性的偏离度值;偏离度算法可为用于评估数据集中各个特征属性相对稳定性的方法,可衡量特征属性在数据变化过程中的偏离程度。
步骤104、对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。
对于本公开实施例,对流量数据的偏离度值进行异常检查,识别出与正常数据明显不同的数据,可能是异常数据或错误数据,将偏离度值与正常范围相差较大的数据确定为偏离度值异常,并及时进行预警通知,如果没有发现偏离度值异常,则利用基本特征属性动态地更新预置参数。
预置参数可为在建模过程中需要调整的参数,用于训练模型并影响模型的性能。预置参数可为预先计算出的平均值、中位数等。利用基本特征属性实时更新预置参数的目的可为使模型能更好地适应新的数据,提高模型的准确性和实时有效性。
综上,本公开提供的数据流量监测方法,与现有技术相比,本公开通过获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标;对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量;根据变化量,计算每个基本特征属性的偏离度值;对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。通过这种方式,添加度量转换处理和偏离度计算,可以简化算法的处理过程,由于数据流量的实时性,在计算过程中动态的更新预置参数,以确保检测的实时性和有效性,适用于实时流量数据处理的场景。
进一步的,作为上述实施例的细化和扩展,为了完整说明本公开方法的具体实现过程,本公开提供了如图2所示的具体方法,该方法包括:
步骤201、获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标。
对于本公开实施例,如图3所示,可首先利用流量采集模块进行数据流量采集,然后利用特征提取模块提取数据流量包中的基本特征属性集(即多个基本特征属性)。
Rn代表第n条记录,其中的n表示每条记录的序号。在每条记录中都包含了多个属性,通过将这些属性进行属性分解,可以将每条记录划分为n个属性,如图4所示。
将单位时间内统计的数据流量包数量作为统计属性指标,即A={源IP包数量,目的IP包数量,源端口数量....目的端口数量}
假设特征集为A={A1,A2,A3....An}
对于本公开实施例,可计算每个基本特征属性的信息熵,并将信息熵作为度量指标。其中,信息熵(Information entropy)是一种衡量数据不确定性的指标,可以用于评估一个数据集的复杂性、多样性或混乱程度。
信息熵的值范围在0到1之间,其中0表示数据具有完全确定的概率分布,1表示数据具有完全随机的概率分布。在实际应用中,信息熵可以筛选出具有较高不确定性和多样性的特征,从而提高分类和预测的准确性。
其中,计算每个基本特征属性的信息熵具体过程可包括:
获取每个基本特征属性在每条数据记录中的特征数量,以及全部基本特征属性的特征总数量,数据记录中包含多种基本特征属性;
将特征数量和特征总数量代入信息熵计算公式,得到基本特征集中每个基本特征属性的信息熵。
信息熵计算公式如下所示:
式中,a'i表示信息熵,numij表示每个基本特征属性i在每条数据记录中的特征数量,numtotal表示全部基本特征属性的特征总数量。
计算得到的度量指标集为A'={a'1,a'2,a'3....a'n}
步骤202、获取多个基本特征属性进行度量转换处理后对应的目标度量指标;计算目标度量指标与对应度量指标的差值,将差值结果与目标度量指标的比值确定为基本特征属性的变化量。
对于本公开实施例,由于度量指标集的范围不确定,所以可以通过变换函数将不同标量的基本特征属性的度量指标以统一的度量标准进行度量。其中,变换函数可为将原始数据映射到一个新的数据空间的数学函数,通过变换函数,可以将不同范围的度量指标的转换为具有相同范围的目标度量指标,从而方便进行后续的分析和处理,其中,目标度量指标可为具有相同的度量标准的度量值。
度量转换公式如下所示:
式中,F(i)表示变化量,ai表示目标度量指标,a'i表示度量指标。
步骤203、将变化量映射到预设区间范围内,得到每个基本特征属性的偏离度;对偏离度进行修正处理,得到修正偏离度;基于修正偏离度与变化量的关系函数,确定每个基本特征属性的的偏离度值。
其中,预设区间范围可为将变化量映射到区间过程中,事先设定的一个数值范围,用于归一化处理和比较不同特征属性。在实际应用中,可根据具体应用场景和需求设定区间范围,一般情况下,区间范围越小,归一化效果越明显,但计算复杂度也会相应增加。在实际操作中,可以尝试不同的区间范围,以找到最佳效果的设定。在本公开实施例中,以(-1,1)为预设区间范围为例,对本公开中的技术方案进行说明,但并不构成对本公开中技术方案的具体限定。
对于本公开实施例,考量到分布式场景以及其他应用场景中会采用不同的变化方式,它们计算出的变化量区别很大,本申请可利用映射函数将变化量映射到预设区间范围内,常见的映射函数可包括线性函数、分段函数、指数函数等,在本公开实施例中,以Sigmoid函数为映射函数为例,对本公开中的技术方案进行说明,但并不构成对本公开中技术方案的具体限定。
其中,Sigmoid函数是常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的激活函数,将变量映射到0到1之间。
Sigmoid函数的定义如下:
式中,x为变化量,e为自然对数的底数;
通过Sigmoid函数的逆函数得:
示例性的,假设变化量为d,将d作为Sigmoid函数的输入,得到输出值d,通过Sigmoid函数,可以将变化量映射到(0,1)内,得到的偏离度为D={d1,d2,d3...dn}。
在本公开实施例中,为了更准确地衡量实际数据与目标数据之间的差距,并采取相应的措施进行调整,需要对偏离度进行修正处理,得到修正偏离度,其中,修正处理的方法可包括线性修正、指数修正、加权修正、模型修正等,对此不做具体限定。
对于本公开实施例,可利用偏离度修正公式对偏离度进行修正处理,偏离度修正公式如下所示:
式中,ci表示第i个修正偏离度,di表示第i个偏离度。
对修正偏离度ci和变化量F(i)建立联系(即建立关系函数),关系函数如下所示:
F(i)=ln(ci)
通过以上两个公式得到偏离度值为:
步骤204、将多个偏离度值进行求和运算,若求和结果大于偏离度阈值时,表明数据流量异常,则对数据流量进行预警提醒;若求和结果小于或等于偏离度阈值时,表明数据流量正常,则利用基本特征属性和偏离度均值更新预置参数。
对于本公开实施例,设基本特征属性a的偏离度值进行求和运算的求和结果(即偏离度和)为Ds_aum;
其中,偏离度和表达公式可为:
设基本特征属性a的偏离度阈值为D′a_sum,可将偏离度值的均值和确定为偏离度阈值,有助于准确地判断某一指标值是否偏离正常范围,避免了误判和漏判;
其中,偏离度阈值(偏离度值均值和)表达公式可为:
当Da_sum>D′a_sum时,说明数据流量异常,进行告警提示,并同时进行日志记录;
当Da_sum<D′a_sum时,说明数据流量正常,则动态更新模型参数(即预置参数),包括特征属性和偏离度均值,特征属性计算以后更新特征属性参数,偏离度计算完成以后更新偏离度均值参数。
对于本公开实施例,基于偏离度的流量检测模型中添加统一度量变换和偏离度计算,将不同的特征值以及不同的变化方式得到的值进行规范化。该模型是一种通用化的检测模型,不限于网络流量。在该模型中可以设置不同的特征属性和度量转换。通过采用模块化设计,将度量值和检测分离,对特征属性和特征度量进行异常检测并告警,同时进行日志记录可进一步分析。由于网络流量的实时性,本发明在计算过程中动态的更新模型参数,以确保检测的实时准确和有效性。
通过结合信息熵和变化量的方式,首先,通过信息熵方式将基本特征属性进行转换,转换后的特征属性可以实时感知流量的变化情况,当变化大的时为可疑的异常的流量。然后通过变换函数将属性度量转换为对属性变化量的度量,把不同的特征属性以统一的度量标准进行度量。
基于Sigmoid函数采用偏离度定义方式,将可能的形式都映射到(-1,1)区间范围内。然后对修正偏离度和变化量建立联系,得到特征属性的偏离度值。在此基础上通过对比偏离度和偏离度的均值来判断流量是否异常。
本申请将设计模型和算法进行解耦,特征属性度量和模型解耦。可以应用在新的场景和新的特征属性。提出了一种偏离度算法确保了计算的实时性,并且是一种通用的算法,根据不同的应用场景将检测模型和不同的特征属性和度量结合进行检测。支撑了流量检测系统整体的良好运行。
基于偏离度的流量检测模型中通过统一度量变换和偏离度计算,将不同的特征值以及不同的变化方式得到的值进行规范化。该模型是一种通用化的检测模型,且在该模型中偏离度算法简单快速,对数据处理以后实时更新,模型参数。本申请可以设置不同的特征属性和度量转换,通过采用模块化设计,将度量值和检测分离。对特征属性和特征度量进行异常检测并告警,同时进行日志记录可进一步分析。
综上,本公开提供的数据流量监测方法,与现有技术相比,本公开通过获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标;对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量;根据变化量,计算每个基本特征属性的偏离度值;对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。通过这种方式,添加度量转换处理和偏离度计算,可以简化算法的处理过程,由于数据流量的实时性,在计算过程中动态的更新预置参数,以确保检测的实时性和有效性,适用于实时流量数据处理的场景。
基于上述图1和图2所示方法的具体实现,本实施例提供了一种数据流量监测装置,如图5所示,该装置包括:获取模块31、转换模块32、计算模块33、检查模块34;
获取模块31,用于获取数据流量的多个基本特征属性,以及所述多个基本特征属性对应的度量指标;
转换模块32,用于对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量;
计算模块33,用于根据所述变化量,计算每个基本特征属性的偏离度值;
检查模块34,用于对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数。
在具体的应用场景中,获取模块31,可用于计算每个所述基本特征属性的信息熵,并将所述信息熵作为度量指标。
在具体的应用场景中,获取模块31,可用于获取每个所述基本特征属性在每条数据记录中的特征数量,以及全部所述基本特征属性的特征总数量,所述数据记录中包含多种所述基本特征属性;将所述特征数量和所述特征总数量代入信息熵计算公式,得到所述基本特征集中每个所述基本特征属性的信息熵。
在具体的应用场景中,转换模块32,可用于获取多个所述基本特征属性进行度量转换处理后对应的目标度量指标;计算所述目标度量指标与对应度量指标的差值,将差值结果与所述目标度量指标的比值确定为所述基本特征属性的变化量。
在具体的应用场景中,计算模块33,可用于将所述变化量映射到预设区间范围内,得到每个所述基本特征属性的偏离度;对所述偏离度进行修正处理,得到修正偏离度;基于所述修正偏离度与所述变化量的关系函数,确定每个所述基本特征属性的的偏离度值。
在具体的应用场景中,检查模块34,可用于将多个所述偏离度值进行求和运算,若求和结果大于偏离度阈值时,表明所述数据流量异常,则对所述数据流量进行预警提醒;若所述求和结果小于或等于所述偏离度阈值时,表明所述数据流量正常,则利用所述基本特征属性和偏离度均值更新预置参数。
在具体的应用场景中,如5所示,该装置还包括:确定模块35;
确定模块35,用于将所述偏离度值的均值和确定为所述偏离度阈值。
需要说明的是,本实施例提供的一种数据流量监测装置所涉及各功能单元的其它相应描述,可以参考图1和图2中方法的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本公开还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述如图1和图2所示的方法。
基于这样的理解,本公开的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施场景的方法。
基于上述如图1和图2所示的方法,以及图5所示的虚拟装置实施例,为了实现上述目的,本公开实施例还提供了一种电子设备,可配置在车辆(如电动汽车)端侧,该设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1和图2所示的方法。
可选的,上述实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本公开提供的上述实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本公开可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。本公开提供的数据流量监测方法、装置及电子设备,与现有技术相比,本公开通过获取数据流量的多个基本特征属性,以及多个基本特征属性对应的度量指标;对多个度量指标进行度量转换处理,得到每个基本特征属性的变化量;根据变化量,计算每个基本特征属性的偏离度值;对偏离度值进行异常检查,若偏离度值异常,则对数据流量进行预警提醒,否则利用基本特征属性更新预置参数。通过这种方式,添加度量转换处理和偏离度计算,可以简化算法的处理过程,由于数据流量的实时性,在计算过程中动态的更新预置参数,以确保检测的实时性和有效性,适用于实时流量数据处理的场景。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据流量监测方法,其特征在于,所述方法包括:
获取数据流量的多个基本特征属性,以及所述多个基本特征属性对应的度量指标;
对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量;
根据所述变化量,计算每个基本特征属性的偏离度值;
对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数。
2.根据权利要求1所述的方法,其特征在于,所述获取多个基本特征属性对应的度量指标,包括:
计算每个所述基本特征属性的信息熵,并将所述信息熵作为度量指标。
3.根据权利要求2所述的方法,其特征在于,所述计算每个所述基本特征属性的信息熵,包括:
获取每个所述基本特征属性在每条数据记录中的特征数量,以及全部所述基本特征属性的特征总数量,所述数据记录中包含多种所述基本特征属性;
将所述特征数量和所述特征总数量代入信息熵计算公式,得到所述基本特征集中每个所述基本特征属性的信息熵。
4.根据权利要求1所述的方法,其特征在于,所述对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量,包括:
获取多个所述基本特征属性进行度量转换处理后对应的目标度量指标;
计算所述目标度量指标与对应度量指标的差值,将差值结果与所述目标度量指标的比值确定为所述基本特征属性的变化量。
5.根据权利要求1所述的方法,其特征在于,所述根据所述变化量,计算每个基本特征属性的偏离度值,包括:
将所述变化量映射到预设区间范围内,得到每个所述基本特征属性的偏离度;
对所述偏离度进行修正处理,得到修正偏离度;
基于所述修正偏离度与所述变化量的关系函数,确定每个所述基本特征属性的的偏离度值。
6.根据权利要求5所述的方法,其特征在于,所述对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数,包括:
将多个所述偏离度值进行求和运算,若求和结果大于偏离度阈值时,表明所述数据流量异常,则对所述数据流量进行预警提醒;
若所述求和结果小于或等于所述偏离度阈值时,表明所述数据流量正常,则利用所述基本特征属性和偏离度均值更新预置参数。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述偏离度值的均值和确定为所述偏离度阈值。
8.一种数据流量监测装置,其特征在于,所述装置包括:
获取模块,用于获取数据流量的多个基本特征属性,以及所述多个基本特征属性对应的度量指标;
转换模块,用于对多个所述度量指标进行度量转换处理,得到每个所述基本特征属性的变化量;
计算模块,用于根据所述变化量,计算每个基本特征属性的偏离度值;
检查模块,用于对所述偏离度值进行异常检查,若所述偏离度值异常,则对所述数据流量进行预警提醒,否则利用所述基本特征属性更新预置参数。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311605792.0A CN117640468A (zh) | 2023-11-28 | 2023-11-28 | 数据流量监测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311605792.0A CN117640468A (zh) | 2023-11-28 | 2023-11-28 | 数据流量监测方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117640468A true CN117640468A (zh) | 2024-03-01 |
Family
ID=90037068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311605792.0A Pending CN117640468A (zh) | 2023-11-28 | 2023-11-28 | 数据流量监测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117640468A (zh) |
-
2023
- 2023-11-28 CN CN202311605792.0A patent/CN117640468A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110113226B (zh) | 一种检测设备异常的方法及装置 | |
US9037518B2 (en) | Classifying unclassified samples | |
Yang et al. | Wi-Wheat: Contact-free wheat moisture detection with commodity WiFi | |
CN109257383B (zh) | 一种bgp异常检测方法及系统 | |
CN110162958B (zh) | 用于计算设备的综合信用分的方法、装置和记录介质 | |
TW201928771A (zh) | 對待評估樣本進行分類的方法及裝置 | |
CN111866713A (zh) | 一种定位方法、装置及电子设备 | |
WO2023207557A1 (zh) | 评估业务预测模型鲁棒性的方法、装置及计算设备 | |
CN115841046A (zh) | 基于维纳过程的加速退化试验数据处理方法和装置 | |
CN114399321A (zh) | 一种业务系统稳定性分析方法、装置和设备 | |
CN112632609A (zh) | 异常检测方法、装置、电子设备及存储介质 | |
CN112444748A (zh) | 电池异常检测方法、装置、电子设备及存储介质 | |
Kodali et al. | The value of summary statistics for anomaly detection in temporally evolving networks: A performance evaluation study | |
CN113033639A (zh) | 一种异常数据检测模型的训练方法、电子设备及存储介质 | |
CN117640468A (zh) | 数据流量监测方法、装置及电子设备 | |
WO2020258509A1 (zh) | 终端设备异常访问的隔离方法和装置 | |
CN116030312A (zh) | 模型评估方法、装置、计算机设备和存储介质 | |
CN116232694A (zh) | 轻量级网络入侵检测方法、装置、电子设备及存储介质 | |
CN115221471A (zh) | 一种异常数据的识别方法、装置、存储介质及计算机设备 | |
CN114355234A (zh) | 一种电源模块的智能化质量检测方法及系统 | |
CN113191674A (zh) | 一种安全风险评估方法、装置、存储介质及电子设备 | |
CN113989632A (zh) | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 | |
CN112363859A (zh) | 异常判定阈值的确定方法及装置 | |
US20150113645A1 (en) | System and method for operating point and box enumeration for interval bayesian detection | |
CN118013377B (zh) | 森林智慧管理方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |