CN115190038B - 一种状态确定方法以及装置 - Google Patents
一种状态确定方法以及装置 Download PDFInfo
- Publication number
- CN115190038B CN115190038B CN202210723917.9A CN202210723917A CN115190038B CN 115190038 B CN115190038 B CN 115190038B CN 202210723917 A CN202210723917 A CN 202210723917A CN 115190038 B CN115190038 B CN 115190038B
- Authority
- CN
- China
- Prior art keywords
- interval
- data transmission
- information
- determining
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000005540 biological transmission Effects 0.000 claims abstract description 223
- 238000005192 partition Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 56
- 238000013210 evaluation model Methods 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000012546 transfer Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 2
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种状态确定方法以及装置,其中,所述方法包括:获取第一信息;其中,所述第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息;对所述第一信息进行分区间统计,得到区间阈值集合;其中,所述区间阈值集合包括区间阈值的集合;所述区间阈值包括所述指标信息在至少一个区间的阈值;基于所述区间阈值集合,确定所述第一系统与所述的第二系统之间的数据传输状态。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种状态确定方法以及装置。
背景技术
在实际应用中,通常通过固定阈值对数据传输指标进行判断,进而评估系统之间的数据传输状态。然而,这样的状态评估方法灵活性不够,且不能精准的反应系统之间的实际数据传输状态。
发明内容
基于以上问题,本申请实施例提供了一种状态确定方法以及装置。
本申请实施例提供的技术方案是这样的:
本申请实施例提供了一种状态确定方法,所述方法包括:
获取第一信息;其中,所述第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息;
对所述第一信息进行分区间统计,得到区间阈值集合;其中,所述区间阈值集合包括区间阈值的集合;所述区间阈值包括所述指标信息在至少一个区间的阈值;
基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态。
在一些实施例中,所述对所述第一信息进行分区间统计,得到区间阈值集合,包括:
对所述第一信息进行分析,得到所述第一时段内所述第一系统与所述第二系统之间的数据传输量;
基于所述数据传输量,确定目标区间;
基于所述目标区间以及所述数据传输量执行所述分区间统计,得到所述区间阈值集合。
在一些实施例中,所述基于所述数据传输量,确定目标区间,包括:
确定第k区间;其中,所述第k区间包括对所述第一时段分割得到的时域区间;k为大于或等于1的整数;
基于所述第k区间对所述数据传输量进行分割,得到第k分割结果;
基于所述第k分割结果以及所述第k区间,确定所述目标区间。
在一些实施例中,所述基于所述第k分割结果以及所述第k区间,确定所述目标区间,包括:
若k大于或等于2,基于第一分割结果至所述第k分割结果以及第一区间至所述第k区间,确定关联信息;其中,所述关联信息包括第m分割结果与第m区间之间对应关联的信息;m为大于或等于1且小于或等于k的整数;
基于所述关联信息的梯度信息,从所述第一区间至所述第k区间中确定所述目标区间。
在一些实施例中,所述基于所述目标区间以及所述数据传输量执行所述分区间统计,得到所述区间阈值集合,包括:
基于所述目标区间,对所述第一信息进行分割,得到第二信息;
基于所述数据传输量对所述第二信息中的指标信息进行统计,得到指标分位数;
对所述指标分位数进行分析,得到所述区间阈值集合。
在一些实施例中,所述基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态,包括:
基于所述区间阈值集合,确定评估模型;
基于所述评估模型,确定所述数据传输状态。
在一些实施例中,所述基于所述区间阈值集合,确定评估模型,包括:
获取所述第一系统与所述第二系统之间的历史指标信息;
基于所述历史指标信息对所述区间阈值集合进行标注,得到训练数据;
确定初始评估模型;
基于所述训练数据对所述初始评估模型的参数进行调整,确定所述评估模型。
在一些实施例中,所述方法还包括:
对所述区间阈值集合中的区间阈值进行分析,得到分析结果;
若所述分析结果表示所述区间阈值的变化率大于或等于变化率阈值,调整所述区间阈值集合。
在一些实施例中,所述指标信息的类型为至少两种;所述区间阈值的类型包括至少两种;所述基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态,包括:
获取所述第一系统与所述第二系统之间的数据传输日志;
基于所述区间阈值集合中的区间阈值对所述数据传输日志进行处理,得到处理结果;
基于所述处理结果,确定所述第一系统与所述第二系统在第二时段的数据传输状态;其中,所述第二时段至少包括所述第一时段的未来时段。
本申请还提供了一种状态确定装置,其中,所述装置包括:
获取模块,用于获取第一信息;其中,所述第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息;
处理模块,用于对所述第一信息进行分区间统计,得到区间阈值集合;其中,所述区间阈值集合包括区间阈值的集合;所述区间阈值包括所述指标信息在至少一个区间的阈值;
确定模块,用于基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态。
本申请实施例提供的状态确定方法,能够根据第一系统与第二系统之间实际数据传输的指标信息,确定区间阈值集合,从而使得区间阈值集合和第一系统与第二系统之间实际的数据传输状态一致;那么,基于区间阈值集合确定的第一系统与第二系统之间的数据传输状态,不仅能够精确的反应第一系统与第二系统之间的实际数据传输状态,还能够动态的、灵活的反应第一系统与第二系统在不同区间内的数据传输状态,进而能够灵活且精确的确定数据传输状态。
附图说明
图1为本申请实施例提供的状态确定方法的流程示意图;
图2为本申请实施例提供的第k区间的示意图;
图3为本申请实施例提供的确定目标区间的原理示意图;
图4A为本申请实施例提供的得到区间阈值的原理示意图;
图4B为本申请实施例提供的得到区间阈值集合的原理示意图;
图4C为本申请实施例提供的调整上分位数的原理示意图;
图5为本申请实施例提供的计算动态阈值的流程示意图;
图6为本申请实施例提供的调整区间阈值集合的原理示意图;
图7A为本申请实施例提供的传输状态预测的流程示意图;
图7B为本申请实施例提供的传输状态预测的原理示意图;
图7C为本申请实施例提供的预测数据传输状态的流程示意图;
图8为本申请实施例提供的传输状态确定装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在通信领域中,系统或架构之间的数据交互已经成为数据处理以及功能实现不可或缺的环节。随着中台以及混合云等技术的兴起,系统或架构之间的数据交互已经越来越频繁、越来越重要;另一方面,随着通信需求的多样化,数据处理架构以及数据链路也越来越复杂,一次业务处理往往需要借助于多个应用系统的数据处理操作、以及数条不同应用系统及中间件组成的数据链路才能实现;与此同时,数据链路状态不稳定导致的数据传输故障在信息技术(Information Technology,IT)也越来越频繁且越来越复杂,若数据链路出现故障时未及时处理,则会对业务处理产生严重的影响。
在相关技术中,为了监控系统之间的数据链路状态,通常会设置固定指标阈值对实际的指标值进行比较,并根据比较结果确定数据链路的状态。
然而,这样的技术方案灵活性不足,且不能够精确的反应数据链路的实际传输状态。
基于以上问题,本申请实施例提供了一种状态确定方法以及装置。本申请实施例提供的状态确定方法,能够基于第一系统与第二系统之间实际的数据传输的指标信息,确定第一系统与第二系统之间的指标信息的区间阈值集合,并基于区间阈值集合确定第一系统与第二系统之间的数据传输状态,不仅实现了对第一系统与第二系统之间的数据传输状态的动态的、灵活的、分段的分析和确定,还提高了数据传输状态的精准度。
需要说明的是,本申请实施例提供的状态确定方法,可以通过电子设备的处理器实现。上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1为本申请实施例提供的状态确定方法的流程示意图,如图1所示,该流程可以包括步骤101至步骤103:
步骤101、获取第一信息。
其中,第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息。
在一种实施方式中,第一系统可以为发送数据处理请求的系统,相应的,第二系统可以为响应数据处理请求的系统;示例性的,数据处理请求,可以是第一系统生成的;示例性的,数据处理请求可以是第一系统从其它系统接收到的或者获取到的,本申请实施例对此不作限定。
在一种实施方式中,第一系统以及第二系统可以构成业务系统,也就是说,第一系统发送数据处理请求,第二系统可以完整的实现数据处理请求;示例性的,业务系统可以包括第一系统、第二系统以及至少一个第三系统,也就是说,第一系统以及第二系统构成的系统集合可以为业务系统的真子集,此时,第二系统可以完整的实现数据处理请求,也可以将数据处理请求对应的至少部分数据处理任务转发至第三系统。
在一种实施方式中,第一时段可以是根据实际的状态确定需求而确定的,也可以根据第一系统与第二系统在单位时间内的数据传输量而确定;示例性的,第一时段的取值,可以与第一系统和第二系统在单位时间内的数据传输量呈反比。
在一种实施方式中,指标信息可以包括第一系统与第二系统之间数据传输速率、数据传输速率变化率、数据传输延时、数据丢包率、数据阻塞率、数据传输错误率以及数据传输过程中的信噪比中的至少一种。
在一种实施方式中,第一信息可以是在第一时段内对第一系统实际发送的数据、以及第二系统实际接收到的数据进行统计而确定的;示例性的,第一信息可以包括第一系统发送数据的指标信息以及第二系统接收数据的指标信息中的至少一种;示例性,第一系统发送数据的指标信息可以包括第一系统发送数据的数据标识、数据量以及数据发送时间等;第二系统接收数据的指标信息,可以包括第二系统接收数据的数据标识、数据量以及数据接收时间等;示例性的,基于第一系统发送数据的数据标识以及数据发送时间、与第二系统接收数据的数据标识以及数据接收时间,可以确定第一系统与第二系统之间数据传输延迟、数据丢包率以及数据阻塞率等指标信息。
步骤102、对第一信息进行区间统计,得到区间阈值集合。
其中,区间阈值集合包括区间阈值的集合;区间阈值包括指标信息在至少一个区间的阈值。
在一种实施方式中,在区间阈值集合包括多个区间阈值的条件下,各个区间阈值可以是不同的。
示例性的,区间阈值集合可以是通过以下任一方式得到的:
对第一信息进行分析,确定第一信息中指标信息的变化状态,根据变化状态对第一信息进行分区间统计,从而得到区域阈值集合。
对第一信息进行分析,确定第一信息中指标信息的变化状态,对目标指标信息进行分区间统计,得到区间阈值集合;其中,目标指标信息可以包括变化状态所表示的变化速率大于或等于目标速率的指标信息。
对第一信息按照时域进行分区间统计,并对各个区间中的第一信息进行统计平均,将各个区间对应的统计平均结果,确定为区间阈值集合。
步骤103、基于区间阈值集合,确定第一系统与第二系统之间的数据传输状态。
在一种实施方式中,数据传输状态,可以包括第一系统与第二系统之间的数据链路的状态;示例性的,第一系统与第二系统之间的数据链路可以包括有线数据链路和/或无线数据链路;示例性的,数据链路的状态,可以包括数据链路处于正常传输状态、阻塞状态、丢包率大于或等于目标丢包率的状态、传输延迟大于或等于目标延迟的状态、以及故障状态中的至少一种。
示例性的,第一系统与第二系统之间的数据传输状态,可以是通过以下方式实现的:
获取区间阈值集合中每一区间阈值对应的区间信息,然后根据该区间信息对第一系统与第二系统之间实际的数据传输状态进行采样,得到采样结果集合,再根据区间阈值对采样结果集合中的采样结果进行判断,若采样结果大于或等于区间阈值,可以确定数据传输状态为第一状态;若采样结果小于区间阈值,可以确定数据传输状态为第二状态;示例性的,第二状态可以包括正常数据传输状态,第一状态至少可以包括非正常数据传输状态。
在相关技术中,用于评估数据链路的固定阈值,通常需要借助于专业技术人员的经验设定,由于专业技术人员无法准确的把握数据链路的特性和状态,因此这样的阈值设定方式比较难以实现。而本申请实施例提供的状态确定方法中,区间阈值集合是根据第一系统与第二系统之间的指标信息确定的,从而摆脱了对专业技术人员的依赖。
由以上可知,本申请实施例提供的状态确定方法中,在获取第一时段内第一系统与第二系统之间数据传输的指标信息即第一信息之后,能够对第一信息进行分区间统计得到包括区间阈值的区间阈值集合,并根据区间阈值集合确定第一系统与第二系统之间的数据传输状态。
由此,本申请实施例提供的状态确定方法,能够根据第一系统与第二系统之间实际数据传输的指标信息,确定区间阈值集合,从而使得区间阈值集合和第一系统与第二系统之间实际的数据传输状态一致;那么,基于区间阈值集合确定的第一系统与第二系统之间的数据传输状态,不仅能够精确的反应第一系统与第二系统之间的实际数据传输状态,还能够动态的、灵活的反应第一系统与第二系统在不同区间内的数据传输状态,进而能够灵活且精确的确定数据传输状态。
基于前述实施例,本申请实施例提供的数据传输方法中,对第一信息进行分区间统计,得到区间阈值集合,可以通过步骤A1至步骤A3实现:
步骤A1、对第一信息进行分析,得到第一时段内第一系统与第二系统之间的数据传输量。
在一种实施方式中,数据传输量可以包括第一时段内第一系统与第二系统之间单向数据传输的数量,比如第一系统向第二系统传输数据的数量;示例性的,数据传输量可以包括第一时段内第一系统与第二系统之间双向的数据传输的数量,比如第一系统向第二系统发送的数据处理请求的数量、以及第二系统向第一系统返回的数据处理请求的处理结果的数量之和。
在一种实施方式中,数据传输量可以包括第一时段内第一系统与第二系统之间传输的指定数据的数量;示例性的,指定数据可以包括第一系统与第二系统之间传输的数据处理请求。
步骤A2、基于数据传输量,确定目标区间。
在一种实施方式中,目标区间可以包括用于用于确定区间阈值集合中的区间阈值的区间。
在一种实施方式中,在目标区间包括多个的条件下,各个目标区间对应的区间长度可以不同。
示例性的,目标区间可以是通过以下任一方式确定的:
基于数据传输量确定第一系统与第二系统之间数据传输密度,然后基于数据传输密度确定目标区间;示例性的,数据传输密度可以包括单位时间内第一系统与第二系统之间的数据传输数量;示例性的,单位时间可以包括五分钟、十分钟等;示例性的,目标区间的长度可以与数据传输密度呈反比,也就是说,目标区间的长度可以随数据传输密度的增加而缩短。
基于数据传输量确定第一时段内的目标时段,然后对目标时段进行划分,得到目标区间;示例性的,目标时段可以包括数据传输量大于或等于目标数量的时段。
步骤A3、基于目标区间对数据传输量执行分区间统计,得到区间阈值集合。
示例性的,区间阈值集合可以通过以下方式得到:
基于目标区间对数据传输量进行区间划分,得到各个目标区间内分布的指标信息,然后对各个目标区间内分布的指标信息进行统计平均,从而得到区间阈值集合。
由以上可知,本申请实施例提供的状态确定方法中,在对第一信息进行分析得到第一时段内第一系统与第二系统之间数据传输的数量即数据传输量之后,能够基于数据传输量确定目标区间,并基于目标区间以及数据传输量执行分区间统计,从而得到区间阈值集合。
由此,由于数据传输量表示第一时段内第一系统与第二系统之间实际数据传输的数量,那么,基于数据传输量确定的目标区间、再基于目标区间以及数据传输量得到的区间阈值集合,就能够精确的反应第一系统与第二系统之间与数据传输量相关的动态的、区间性的门限阈值。
基于前述实施例,本申请实施例提供的状态确定方法中,基于数据传输量,确定目标区间,可以通过步骤B1至步骤B3实现:
步骤B1、确定第k区间。
其中,第k区间包括对第一时段分割得到的时域区间;k为大于或等于1的整数。
在一种实施方式中,在k的取值为1的条件下,第一区间可以包括预先设定的初始区间T0;示例性的,T0可以是根据第一系统与第二系统之间的历史数据传输指标确定的,也可以是专业技术人员根据对第一系统和/或第二系统的运行维护经验而设定的。
示例性的,第k区间可以是对第一时段中第一系统与第二系统之间数据传输的数量而确定的;示例性的,在k大于或等于2的条件下,各个区间对应的时间长度可以不同,而各个区间所对应的数据传输的数量可以相同;示例性的,在k大于或等于2的条件下,各个区间对应的时间长度可以相同,此时各个区间所对应的数据传输的数量可以不同。
步骤B2、基于第k区间对数据传输量进行分割,得到第k分割结果。
示例性的,第k分割结果可以是通过以下方式得到的:
确定第k区间所对应的时段内、第一系统与第二系统之间数据传输量,然后基于第一时段内第k区间的个数,对上述数据传量进行统计平均,并将统计平均的结果确定为第k分割结果。
示例性的,第k分割结果可以通过式(1)计算得到:
Mkavg=Avg(Mk) (1)
在式(1)中,Mk可以表示各个第k区间中的数据传输量;Mkavg可以表示第k分割结果;Avg(Mk)可以表示去除各个第k区间中数据传输量的上5%分位数以及下5%分位数后,再对剩余的第k区间中数据传输量进行统计平均。
图2为本申请实施例提供的第k区间的示意图。
在图2所示的坐标系中,横轴t可以为时间轴;示例性的,第一时段可以为图2中所示的时域区间[a,b];其中,a为大于0的数据,b大于a。
在图2中,不同的虚线可以对应对不同的第k区间;示例性的,第一区间至第k区间可以包括[a,b]中各种可能的区间步长;示例性的,第一区间201的取值可以为T0;示例性的,第一区间201可以是专业技术人员根据第一系统与第二系统之间的数据传输特性而设定的;第k区间202可以与第一区间201覆盖的时间长度不同,如此,第一区间201对应的第一分割结果、与第k区间202对应的第k分割结果可以不同。
步骤B3、基于第k分割结果以及第k区间,确定目标区间。
示例性的,目标区间可以是通过以下方式确定的:
对各个第k分割结果进行统计平均,得到各个第k分割结果的统计平均结果,并将与目标结果最接近的统计平均结果对应的区间,确定为目标区间;示例性的,目标结果可以根据实际的状态确定的需求和/或电子设备的软硬件配置信息而确定。
由以上可知,本申请实施例提供的状态确定方法中,在确定对第一时段分割得到的时域区间即第k区间之后,能够基于第k区间对数据传输量进行分割得到第k分割结果,然后基于第k分割结果以及第k区间确定目标区间。
由此,本申请实施例提供的状态确定方法,在k大于或等于2的条件下,能够根据第一区间至第k区间所对应的第一分割结果至第k分割结果,确定目标区间,从而使得最终确定的目标区间能够与第一系统与第二系统之间的实际数据传输量的变化状态以及分布状态更一致。
基于前述实施例,本申请实施例提供的状态确定方法中,基于第k分割结果以及第k区间,确定目标区间,可以通过步骤C1至步骤C2实现:
步骤C1、若k大于或等于2,基于第一分割结果至第k分割结果以及第一区间至第k区间,确定关联信息。
其中,关联信息包括第m分割结果与第m区间之间对应关联的信息;m为大于或等于1且小于或等于k的整数。
示例性的,若k小于2,可以不执行基于第一分割结果至第k分割结果以及第一区间至第k区间,确定关联信息的操作。
在一种实施方式中,关联信息,可以包括k个分割结果与k个区间之间一一对应关联的信息;示例性的,关联信息可以以文本、图形、图表或数字的形式体现。
在一种实施方式中,可以将各个分割结果以及区间之间一一对应的关联信息综合起来,从而得到关联信息随着分割结果以及区间的不同的变化趋势,此时,关联信息可以通过函数的形式体现,由于关联信息中包含的是第m分割结果与第m区间之间的二维对应关系,因此,关联信息可以通过二维函数的形式体现;示例性的,关联信息可以在二维坐标系中以曲线的形式体现第m分割结果与第m区间之间一一对应的信息。
步骤C2、基于关联信息的梯度信息,从第一区间至第k区间中确定目标区间。
在一种实施方式中,在关联信息为二维函数的情况下,可以获取二维函数在各个分割结果或区间点上所对应的梯度信息;示例性的,上述梯度信息可以通过对二维函数求导的方式得到;示例性的,上述梯度信息可以通过梯度下降算法以及衍生方法对二维函数计算得到,其中,衍生方法可以包括AdaGrad以及Adam等。
在一种实施方式中,目标区间可以包括小于或等于目标梯度的梯度信息所对应的区间;示例性的,目标区间可以包括关联信息的拐点所对应的区间;示例性的,目标梯度可以为0。
图3为本申请实施例提供的确定目标区间的原理示意图。
图3中的二维坐标系的横轴w可以用于表示区间,横轴可以覆盖第一区间至第k区间;二维坐标系中的纵轴Mavg可以表示各个区间对应的分割结果。
图3中的第一曲线301可以为通过函数的形式表示的关联信息;示例性的,在图3中,关联信息可以表示为Mkavg=f(Wm),其中,m的取值为[1,k]。
在图3中,可以根据各个区间对应的区间长度对Mkavg=f(Wm)进行求导操作,从而得到Mkavg=f(Wm)的各个区间长度对应的梯度信息,并将梯度拐点302对应的第m区间303确定为目标区间。
由以上可知,本申请实施例提供的状态确定方法中,在k大于或等于2的条件下,能够基于第一分割结果至第k分割结果、以及第一区间至第k区间,确定关联信息,并基于关联信息的梯度信息,从第一区间至第k区间中确定目标区间。由于梯度信息能够精确的反应关联信息中分割结果随区间的变化趋势,如此,基于关联信息的梯度信息确定的目标区间,不仅能够精确的反应数据传输量的区间分布状态,还能兼顾区间数量与分割结果之间的平衡。
基于前述实施例,本申请实施例提供的状态确定方法中,基于目标区间以及数据传输量执行分区间统计,得到区间阈值集合,可以通过步骤D1至步骤D3实现:
步骤D1、基于目标区间,对第一信息进行分割,得到第二信息。
在一种实施方式中,第二信息可以包括从第一信息中分割得到的至少一种指标信息;示例性的,在第二信息的数量为多个的条件下,各个第二信息中所包含的指标信息的数量和/或类型可以不同。
示例性的,第二信息可以是通过以下任一方式得到的:
基于目标区间对应的时段长度,对第一时段进行分割得到多个时段分割结果,并对各个时段分割结果对应的第一信息进行汇总,得到第二信息。
基于目标区间对应的时段长度,对第一时段进行分割得到多个时段分割结果;从第一信息中确定目标指标信息,并对各个时段分割结果对应的目标指标信息进行汇总,得到第二信息;示例性的,目标指标信息可以是根据实际的状态确定需求而确定的,比如需要确定第一系统与第二系统之间的数据传输延迟,则目标指标信息可以包括第一系统与第二系统之间的数据传输时间。
步骤D2、基于数据传输量对第二信息中的指标信息进行统计,得到指标分位数。
在一种实施方式中,指标分位数的数量可以为多个,比如中位数(即二分位数)、四分位数、百分位数等。
示例性的,指标分位数可以是通过以下方式得到的:
基于目标区间对数据传输量进行分割,得到各个目标区间内的数据传输量,然后基于各个目标区间内的数据传输量对第二信息中的指标信息进行统计平均,得到统计平均结果,再从统计平均结果中得到多个指标分位数。
步骤D3、对指标分位数进行分析,得到区间阈值集合。
示例性的,区间阈值集合可以是通过以下方式得到的:
获取第一系统与第二系统之间数据传输状态的历史指标信息,基于各个目标区间对应的指标分位数、以及历史指标信息确定各个目标区间内的区间阈值,再将各个目标区间的区间阈值的集合确定为区间阈值集合。
在一种实施方式中,历史指标信息可以包括第一系统与第二系统之间历史数据传输时出现故障时的至少一种指标信息。
示例性的,基于各个目标区间对应的指标分位数、以及历史指标信息确定各个目标区间内的区间阈值,可以通过以下方式实现:
获取第k目标区间的第n指标分位数,并根据上述第n指标分位数确定第k目标区间的第n阈值,然后根据上述第n阈值与历史指标信息之间的关系,对上述第n指标分位数进行调整,再基于调整后的第n指标分位数确定新的第n阈值,直至新的第n阈值与历史指标信息之间的差值小于或等于目标差值为止,将此时调整后的第n指标分位数确定为第k目标区间中的目标分位数,再将基于第k目标区间中的目标分位数得到的阈值,确定为第k目标区间内的区间阈值;然后将各个目标区间内的区间阈值按照时间序列进行排列,从而得到区间阈值集合。其中,n为大于或等于1的整数。
示例性的,在上述计算过程中,第k目标区间的第一指标分位数可以为第k目标区间的上四分位数;示例性的,第k目标区间的第n阈值,可以通过式(2)计算得到:
threshold=median+(Pupper-Plower)*Parameter (2)
其中,threshold为第k目标区间的第n阈值;median为第k目标区间的指标中位数;Pupper为第k目标区间的上分位数;Plower为第k目标区间的下四分位数;Paramete的取值默认为1.5;示例性的,在计算第k目标区间的第n阈值的过程中,可以调整上分位数Pupper,以改善第n阈值的精准度。
图4A为本申请实施例提供的得到区间阈值的原理示意图。在图4A所示的二维坐标系中,横坐标可以表示时间t,纵坐标Metric可以表示对目标区间中的指标信息;其中,第一时间窗口401可以表示30天的时间窗口,第一阈值402可以表示在第一时间窗口401中,基于目标区间中指标信息的上四分位数,通过式(2)计算得到的阈值。
图4B为本申请实施例提供的得到区间阈值集合的原理示意图。如图4B所示的二维坐标系中横坐标与纵坐标,和图4A所示的二维坐标系中的横坐标与纵坐标相同,此处不再赘述。
在图4B中,第二时间窗口403、第三时间窗口404以及第四时间窗口405可以为第一时间窗口401以指定的步长沿时间轴平移得到的时间窗口;相应的,第二时间窗口403、第三时间窗口404以及第四时间窗口405中,基于目标区间内的指标信息的上四中位数通过式(2),可以计算得到第二阈值406、第三阈值407以及第四阈值408。
根据图4B可以知道,随着第一时间窗口401的平移,各个时间窗口中的区间阈值也会相应变化。
图4C为本申请实施例提供的调整上分位数的原理示意图。在图4C所示的二维坐标系中,第一指标信息409、第二指标信息410、第三指标信息411以及第四指标信息412,可以为第一系统与第二系统之间数据传输过程中数据传输状态异常时的指标信息。
在图4C中,第二曲线413可以为第一时间窗口401至第四时间窗口405中基于目标区间得到的指标信息的上四分位数的波动曲线;第三曲线414为第一时间窗口401至第四时间窗口405中、设定Pupper为上四分位数时得到的区间阈值集合的波动曲线;第四曲线415为第一时间窗口401至第四时间窗口405中、设定Pupper为上80%分位数时得到的区间阈值集合的波动曲线;第五曲线416为第一时间窗口401至第四时间窗口405中、设定Pupper为85%分位数时得到的区间阈值集合的波动曲线。
由图4C可知,随着Pupper的不断增大,区间阈值集合的波动曲线在不断的接近第一指标信息409、第二指标信息410、第三指标信息411以及第四指标信息412,也就是说,随着Pupper的不断增大,区间阈值集合构成的波动曲线、跟第一系统与第二系统之间的出现故障时的指标信息之间的差值在不断的变小,即通过调整Pupper,能够改善区间阈值集合与实际的故障传输状态之间的一致性,进而提高区间阈值集合的精准度。
示例性的,在本申请实施例中,基于第一信息确定的目标区间、以及区间阈值集合中的区间阈值也会随着第一信息的变化而改变,也就是说,根据第一信息确定的区间阈值集合中的区间阈值,能够动态的反应出第一系统与第二系统之间数据传输状态的变化,因此,区间阈值集合中的区间阈值又可以称为动态阈值。
图5为本申请实施例提供的计算动态阈值的流程示意图,如图5所示,该流程可以包括步骤501至步骤508:
步骤501、获取系统日志。
示例性的,电子设备的处理器可以获取第一系统与第二系统之间数据传输的系统日志,并对系统日志进行分析,从而确定第一时段[a,b]以及第一时段内的第一信息。
步骤502、指定默认步长T0和可选步长范围[a,b]。
示例性的,电子设备的处理器可以根据第一系统与第二系统之间的历史数据传输状态,指定默认步长T0;示例性的,默认步长T0还可以是根据专业技术人员的系统维护经验设定的。
示例性的,电子设备的处理器可以对系统日志进行分析,从而确定可选步长范围即前述实施例中的第一时段[a,b]。
步骤503、在步长范围[a,b]遍历Wm。
示例性的,电子设备的处理器可以在第一时段对应的时间步长范围[a,b]内以第m区间Wm遍历第一区间至第k区间,其中m为大于或等于1且小于或等于k的整数。
步骤504、计算与Wm对应的Mmavg。
示例性的,电子设备的处理器可以通过前述实施例提供的式(1)计算Mmavg,即第m分割结果。
步骤505、建立函数Mkavg=f(Wm)。
示例性的,电子设备的处理器可以分析第m分割结果与第m区间之间的关联信息,在m的取值遍历[1,k]的条件下,可以建立函数Mkavg=f(Wm)。
步骤506、使用梯度下降求极值,得到梯度拐点。
示例性的,电子设备的处理器可以对函数Mkavg=f(Wm)进行求导,从而得到各个区间对应的梯度,从而得到梯度拐点。
步骤507、取T0对应的梯度与梯度拐点中的较小值。
示例性的,电子设备的处理器获取T0对应的梯度,并将T0对应的梯度与梯度拐点进行比较,并从二者中获取较小值;然后将较小梯度所对应的区间确定为目标区间。
示例性的,若T0对应的梯度为0,则设置目标区间为T0。
步骤508、计算动态阈值。
示例性的,电子设备可以基于目标区间中的指标信息计算动态阈值;示例性的,电子设备可以通过前述实施例提供的方法比如式(2)计算动态阈值。
由以上可知,本申请实施例提供的状态确定方法中,基于目标区间对第一信息分割得到第二信息后,能够基于数据传输量对第二信息中的指标信息进行统计得到指标分位数,再对指标分位数进行分析得到区间阈值集合。
由此,本申请实施例提供的状态确定方法,能够根据第一系统与第二系统在第一时段内数据传输量以及各个指标信息的分布状态,确定区间阈值集合,从而使得区间阈值集合不仅与第一时段内的数据传输量相关,而且还与各个指标信息的分布状态相关,从而大大提高了区间阈值集合中的各个区间阈值的精准度。
基于前述实施例,本申请实施例提供的状态确定方法,还可以包括步骤E1至步骤E2:
步骤E1、对区间阈值集合中的区间阈值进行分析,得到分析结果。
在一种实施方式中,分析结果可以包括区间阈值集合中的区间阈值在单位时间内的变化量;示例性的,分析结果可以包括区间阈值集合中的区间阈值在第一时段的时间分布状态信息。
示例性的,可以将区间阈值集合中的区间阈值按照时间序列在第一时段内排列,得到排列结果,然后对排列结结果的幅值、密度、以及变化率中的至少之一进行分析,从而得到分析结果。
步骤E2、若分析结果表示区间阈值的变化率大于或等于变化率阈值,调整区间阈值集合。
示例性的,若分析结果表示区间阈值的变化率小于变化率阈值,则可以不执行调整区间阈值集合的操作。
在一种实施方式中,变化率阈值可以是根据第一系统与第二系统之间的历史数据传输状态确定的;示例性的,变化率阈值还可以根据实际的状态确定需求而灵活的调整,本申请实施例对此不作限定。
在一种实施方式中,分析结果表示区间阈值大于或等于变化率阈值,可以表示第一系统与第二系统之间的数据传输状态在短时间内的变化速率较快,比如,第一系统与第二系统之间的数据传输延迟在短时间内变化明显,即第一子时段内的数据传输延迟为第一延迟,在第二子时段内的数据传输延迟为第二延迟,且第一延迟与第二延迟的差值大于预设差值;其中,第一子时段以及第二子时段可以为第一时段的部分时段。
在一种实施方式中,调整区间阈值集合可以包括调整区间阈值集合中区间阈值的数量和/或调整区间阈值的数值。
示例性的,在调整区间阈值集合的过程中,可以将通过前述实施例确定的区间阈值集合记为第一集合,而将最终调整得到的区间阈值集合记为第二集合。
示例性的,可以对第一集合进行统计平均,并将第二集合中的各个区间阈值确定为通过统计平均得到的中位数。
示例性的,可以通过前述实施例提供的确定区间阈值集合的方法,对第一集合中区间阈值的分布状态、区间阈值所覆盖的时间范围、以及区间阈值的数量进行处理,从而得到第二集合。
图6为本申请实施例提供的调整区间阈值集合的原理示意图。在图6所示的二维区间中,横轴t表示时间,纵轴Metric表示指标信息取值。
在图6中,第一时间步长601可以为通过前述实施例确定的目标区间;第一图标602组成的点阵集合可以表示实际的指标信息取值;第二图标602组成的点阵集合可以表示通过前述实施例确定的区间阈值集合;第三图标603可以表示调整后的区间阈值集合。
从图6中可以看出,第二图标602组成的点阵集合即区间阈值集合在有限的第一时段对应的时间范围内出现了明显的波动,此时可以断定区间阈值集合的变化率大于或等于变化率阈值;在这种情况下,可以对区间阈值集合进行调整,得到第三图标604组成的点阵集合。从图6中可以看出,调整后的区间阈值集合相当于是对区间阈值集合的各个区间阈值进行了统计平均,从而使得调整后的区间阈值集合较为平滑,且分布在实际的指标信息数值中间,能够表征实际的指标信息数值的分布状态,那么,基于调整后的区间阈值集合确定数据传输状态时,可以削弱指标信息短期内剧烈波动导致的频繁报警的影响。
由以上可知,本申请实施例提供的状态确定方法中,在确定区间阈值集合之后,还能够对区间阈值集合中的区间阈值进行分析得到分析结果,在分析结果表示区间阈值的变化率大于或等于变化率阈值的条件下,还能调整区间阈值集合。
由此,本申请实施例提供的状态确定方法,在第一系统与第二系统之间的数据传输状态短时间内发生剧烈变化的条件下,通过对区间阈值集合的调整,能够削弱短期内第一系统与第二系统之间指标信息的波动的影响,降低由于数据传输波动而导致的数据传输状态误报的概率,从而能够进一步改善数据传输状态确定的精度。
基于前述实施例,本申请实施例提供的状态确定方法中,基于区间阈值集合,确定第一系统与第二系统之间的数据传输状态,可以通过步骤F1至步骤F2实现:
步骤F1、基于区间阈值集合,确定评估模型。
在一种实施方式中,评估模型可以实现对第一系统与第二系统之间的数据传输状态的至少一个维度的评估;示例性的,评估模型可以包括神经网络模型以及线性分类器中的至少一种;示例性的,线性分类器可以包括逻辑回归模型、支持向量机(Support VectorMachine,SVM)、Boosting类等。
示例性的,评估模型可以是通过以下方式确定的:
确定初始评估模型,然后基于区间阈值集合中的各个区间阈值,对初始评估模型的参数进行调整,并将参数调整后的初始评估模型,确定为评估模型。
步骤F2、基于评估模型,确定数据传输状态。
在一种实施方式中,数据传输状态可以是通过以下方式确定的:
实时采集第一系统与第二系统之间的数据传输的指标信息,并将上述指标信息输入至评估模型,然后将评估模型的输出数据确定为数据传输状态。
由以上可知,本申请实施例提供的状态确定方法中,能够根据区间阈值集合确定评估模型,并基于评估模型确定数据传输状态。由于评估模型能够的对至少一种数据传输的指标信息进行多维度的快速关联分析,从而使得数据传输状态能够实时的、全方位的、多维度的、且精准的反应第一系统与第二系统之间的实际数据传输状态。
基于前述实施例,本申请实施例提供的状态确定方法中,基于区间阈值集合,确定评估模型,可以通过步骤G1至步骤G4实现:
步骤G1、获取第一系统与第二系统之间的历史指标信息。
在一种实施方式中,历史指标信息可以包括第一系统与第二系统之间历史传输数据过程中的指标信息;示例性的,该指标信息的数量可以为多个;示例性的,指标信息的类型可以为多种。
在一种实施方式中,历史指标信息可以是对第一系统与第二系统之间的历史数据传输对应的日志进行分析而获取到的;示例性的,历史指标信息还可以包括根据专业技术人员的传输链路维护经验确定的指标信息。
在一种实施方式中,历史指标信息可以包括传输延时、消息阻塞率、消息阻塞率变化状态、消息阻塞数量、以及消息发送错误率中的至少一种。
在一种实施方式中,历史指标信息可以包括与第一系统与第二系统之间指定的历史数据传输过程对应的指标信息;示例性的,指定的历史数据传输过程可以包括出现故障或异常的历史数据传输过程;示例性的,历史指标信息可以包括故障或异常类型、以及故障或异常出现时的至少一个指标信息。
步骤G2、基于历史指标信息对区间阈值集合进行标注,得到训练数据。
示例性的,可以对历史指标信息以及区间阈值集合中的区间阈值进行遍历匹配,得到匹配结果,并将匹配结果小于或等于匹配阈值的区间阈值确定为第一类型,将匹配结果大于或等于匹配阈值的区间阈值确定为第二类型,并对第二类型的区间阈值进行标注,从而得到训练数据;示例性的,第一类型可以包括第一系统与第二系统之间的正常数据传输的类型,第二类型可以包括第一系统与第二系统之间的异常或故障数据传输的类型。
示例性的,在得到第二类型的区间阈值且标注完成之后,可以对标注完成的第二类型的区间阈值进行特征标注;示例性的,上述特征标注可以包括时间相关的特征的标注,比如节假日特征或者周期性特征等。
步骤G3、确定初始评估模型。
示例性的,初始评估模型可以根据模型训练所依据的设备的软硬件条件、训练时间以及训练数据丰富程度中的至少一种确定。
示例性的,初始评估模型可以包括神经网络以及回归算法模型,本申请实施例对此不作限定。
步骤G4、基于训练数据对初始评估模型的参数进行调整,得到评估模型。
示例性的,由于训练数据中包含有训练数据对应的标注数据,因此可以基于训练数据对初始评估模型进行有监督训练,从而实现对初始评估模型的参数的闭环调整过程,并将参数调整结束后的初始评估模型,确定为评估模型。
由以上可知,本申请实施例提供的状态确定方法中,能够获取第一系统与第二系统之间的历史指标信息,并基于历史指标信息对区间阈值集合进行标注得到训练数据,在确定初始评估模型之后,能够基于训练数据对初始评估模型的参数进行调整,从而得到评估模型。
由此,本申请实施例提供的状态确定方法,由于历史指标信息能够精确的反应第一系统与第二系统之间历史数据传输的真实状态,因此,基于历史指标信息对区间阈值集合进行标注得到训练数据,并基于训练数据对初始评估模型进行调整得到的评估模型,能够全面而精准的评估第一系统与第二系统之间实际的数据传输状态。
基于前述实施例,本申请实施例提供的状态确定方法中,指标信息的类型为至少两种;区间阈值的类型包括至少两种。
在一种实施方式中,指标信息的类型可以包括前述实施例中的提供的至少两种;示例性的,指标信息的类型可以根据状态确定需求而灵活的调整,本申请实施例对此不作限定。
在一种实施方式中,指标信息与区间阈值之间可以一一对应的关系,比如,第一类指标信息与第一类区间阈值以及第一类区间阈值集合对应,第二类指标信息与第二类区间阈值以及第二类区间阈值集合对应。
示例性的,基于区间阈值集合,确定第一系统与第二系统之间的数据传输状态,可以通过步骤H1至步骤H3实现:
步骤H1、获取第一系统与第二系统之间的数据传输日志。
在一种实施方式中,数据传输日志中可以包括第一系统与第二系统在第二时段内数据传输的至少一种指标信息。
在一种实施方式中,数据传输日志可以是实时采集得到的;示例性的,数据传输日志可以是基于时间排序的。
步骤H2、基于区间阈值集合中的区间阈值对数据传输日志进行处理,得到处理结果。
在一种实施方式中,可以对数据传输日志中的指标信息、与区间阈值集合中的区间阈值进行比较得到比较结果,然后根据比较结果得到处理结果。
在一种实施方式中,可以通过基于区间阈值集合确定的评估模型,对数据传输日志中的各种指标信息进行综合分析处理,从而得到处理结果。
在一种实施方式中,在对数据传输日志进行处理的过程中,可以兼顾数据传输日志的时间类特征,比如数据传输日志的采集时间是否为节假日时间等。
步骤H3、基于处理结果,确定第一系统与第二系统在第二时段的数据传输状态。
其中,第二时段至少包括第一时段的未来时段。
在一种实施方式中,第二时段的结束点可以晚于第一时段的结束点;示例性的,第二时段与第一时段可以并无交集,也就是说,第二时段的起始点可以晚于第一时段的起始点;示例性的,第二时段可以与第一时段之间具备交集,比如,第一时段可以为第二时段的真子集,且第二时段的结束点晚于第一时段的结束点;示例性的,第一时段的部分时段可以为第二时段的真子集,且第二时段的结束点晚于第一时段的起始点。
在一种实施方式中,可以根据得到的至少一个处理结果,对第一系统以及第二系统在未来时段的数据传输状态进行预测。
在一种实施方式中,评估模型可以对当前指标信息和/或历史指标信息进行分析处理,从而得到第一系统与第二系统在未来时段的数据传输状态。
图7A为本申请实施例提供的传输状态预测的流程示意图。如图7所示,该流程可以包括步骤701至步骤704:
步骤701、获取指标信息。
示例性的,电子设备的处理器可以获取第一系统与第二系统之间数据传输日志,并从数据传输日志中获取多种指标信息。
步骤702、特征构建。
示例性的,电子设备的处理器可以执行特征构建操作;示例性的,特征构建可以包括时间类特征比如节假日的指标信息的特征、以及周期性的指标信息的特征等;示例性的,可以对将至少一种时间类特征关联至指标信息,从而使得指标信息中可以携带时间类标签信息。
步骤703、模型构建。
示例性的,电子设备的处理器可以执行模型构建操作;示例性的,模型构建可以包括模型选择、模型结构设定、以及模型深度配置中的至少一种操作。
示例性的,电子设备的处理器可以根据模型构建的结果确定初始评估模型,还能够基于携带时间类标签信息的指标信息,对初始评估模型进行训练从而得到评估模型。
步骤704、指标信息预测。
示例性的,电子设备的处理器可以将从数据传输日志中获取到的指标信息输入至评估模型,以得到至少一种指标信息在未来时刻的数值,并根据这些数值预测未来时刻的数据传输状态。
图7B为本申请实施例提供的传输状态预测的原理示意图。在图7B中,第二时间步长705可以与前述实施例中的第一时间步长601的含义相同;图7B所示的二维坐标系与图6所示的二维坐标系可以相同。
在图7B中,第四图标706构成的点阵集合表示实际的指标信息数值,而第五图标707构成的点阵集合可以表示通过图7A所示的流程预测得到的指标信息数值。
通过图7A以及图7B可知,在获取实际的指标信息的条件下,通过特征构建并有针对性的构建评估模型,就可以实现对指标信息的精准预测,从而降低数据传输状态异常,对第一系统与第二系统之间数据传输的影响概率。
图7C为本申请实施例提供的预测数据传输状态的流程示意图。如图7所示,该流程可以包括步骤708至步骤715:
步骤708、获取系统日志。
示例性的,电子设备的处理器可以获取系统日志;示例性的,系统日志可以为前述实施例中的数据传输日志。
示例性的,电子设备的处理器可以从系统日志中获取至少一种指标信息即前述实施例中的第一信息。
步骤709、确定目标区间。
示例性的,电子设备的处理器可以基于从系统日志中提取得到的第一信息,通过前述实施例提供的方法确定目标区间。
步骤710、确定区间阈值集合。
示例性的,电子设备的处理器可以通过前述实施例提供的方法确定区间阈值集合。
步骤711、调整区间阈值集合。
示例性的,电子设备的处理器可以在区间阈值集合中的区间阈值的变化率大于或等于变化率阈值的条件下,通过前述实施例提供的方法调整区间阈值集合。
示例性的,电子设备的处理器还可以基于调整后的区间阈值集合调整初始评估模型的参数,从而得到评估模型。
步骤712、获取多类指标。
示例性的,电子设备的处理器可以实时的采集第一系统与第二系统之间数据传输时的系统日志,并对系统日志进行分析,从而获取多类指标,示例性的,可以通过步骤7121至步骤7125从上述日志数据中分别获取第一类指标值第z类指标;其中,z为大于4的整数。
步骤7121、获取第一类指标。
示例性的,电子设备的处理器可以确定第一类指标的关键词,并基于上述关键词对上述系统日志进行检索分析从而获取第一类指标。
步骤7122、获取第二类指标。
示例性的,电子设备的处理器可以通过获取第一类指标相同的方式获取第二类指标,本申请实施例对此不作限定。
步骤7123、获取第三类指标。
示例性的,电子设备的处理器可以通过获取第一类指标相同的方式获取第三类指标,本申请实施例对此不作限定。
步骤7124、获取第四类指标。
示例性的,电子设备的处理器可以通过获取第一类指标相同的方式获取第四类指标,本申请实施例对此不作限定。
步骤7125、获取第z类指标。
示例性的,电子设备的处理器可以通过获取第一类指标相同的方式获取第z类指标,本申请实施例对此不作限定。
步骤713、预测各类指标。
示例性的,电子设备的处理器可以将第一类指标值第z类指标输入至评估模型,从而得到各类指标的预测值。
步骤714、综合分析各指标预测值。
示例性的,电子设备的处理器可以对各指标预测值进行加权求,从而得到传输状态健康度评分;示例性的,传输状态健康度评分可以通过式(3)计算得到:
score=∑Metric*Weight (3)
在式(3)中,score可以表示计算得到的传输状态健康度评分;Metric可以表示各指标预测值;Weight可以表示与各指标预测值关联的权重;示例性的,Weight的取值可以根据历史传输状态确定;示例性的,Weight的取值限定条件可以包括第一条件以及第二条件,第一条件可以包括在数据传输状态为正常状态时,各类指标值对应的Weight之和可以为1;第二条件可以包括在数据传输状态为异常状态时,各类指标值对应的Weight之和可以为0。
在实际应用中,在监控数据链路状态时,单指标告警容易产生误报,比如当链路传输数据量增大时,链路传输延迟必然增大,这并不代表数据链路处于异常状态;并且,在相关技术中固定阈值设定之后保持不变,在新业务执行时难以根据新的业务情况调整固定阈值。
步骤715、预测数据传输状态。
示例性的,电子设备的处理器可以通过评估模型基于各项指标预测值进行处理,从而预测未来时刻的数据传输状态。
而在本申请实施例中,能够综合多种指标信息预测数据传输状态,从而能够降低异常或故障告警的数量;并且,区间阈值集合中的区间阈值,是根据实时的指标信息动态调整的,从而能够进一步改善状态确定方法的灵活性。
在实际应用中,还存在通过对系统进行模拟访问以及心跳监测的方式确定数据传输状态的方案,然而,该方案只能获取数据传输过程中的瞬时状态,难以统计跟踪数据传输的整体状态,因此无法对数据传输过程中的恶劣趋势进行预警和规避。
而在本申请实施例中,能够动态的、实时的获取各种指标信息,还能根据各种指标信息及时的预测未来时段的数据传输状态,从而能够做到事先捕捉异常。
由以上可知,本申请实施例提供的状态确定方法中,能够精准且灵活的预测第一系统与第二系统在第二时段内的数据传输状态,从而使得指标信息在未触及各个区间阈值之前,就能够及时的数据传输状态进行预测,从而使得专业技术人员或用户能够实时干预,进而能够降低数据传输状态出现严重故障对业务处理的影响概率。
需要说明的是,本申请实施例提供的各种方法,可以适用于任何系统间的数据传输状态评估。
基于前述实施例,本申请实施例还提供了一种状态确定装置,图8为本申请实施例提供的状态确定装置8的结构示意图,如图8所示,该装置可以包括:获取模块801、处理模块802以及确定模块803;其中:
获取模块801,用于获取第一信息;其中,第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息;
处理模块802,用于对第一信息进行分区间统计,得到区间阈值集合;其中,区间阈值集合包括区间阈值的集合;区间阈值包括指标信息在至少一个区间的阈值;
确定模块803,用于基于区间阈值集合,确定第一系统与第二系统之间的数据传输状态。
在一些实施例中,处理模块802,用于对第一信息进行分析,得到第一时段内第一系统与第二系统之间的数据传输量;
确定模块803,用于基于数据传输量,确定目标区间;
处理模块802,用于基于目标区间以及数据传输量执行分区间统计,得到区间阈值集合。
在一些实施例中,确定模块803,用于确定第k区间;其中,第k区间包括对第一时段分割得到的时域区间;k为大于或等于1的整数;
处理模块802,用于基于第k区间对数据传输量进行分割,得到第k分割结果;
确定模块803,用于基于第k分割结果以及第k区间,确定目标区间。
在一些实施例中,确定模块803,用于若k大于或等于2,基于第一分割结果至第k分割结果以及第一区间至第k区间,确定关联信息;基于关联信息的梯度信息,从第一区间至第k区间中确定目标区间;其中,关联信息包括第m分割结果与第m区间之间对应关联的信息;m为大于或等于1且小于或等于k的整数。
在一些实施例中,处理模块802,用于基于目标区间,对第一信息进行分割,得到第二信息;基于数据传输量对第二信息中的指标信息进行统计,得到指标分位数;对指标分位数进行分析,得到区间阈值集合。
在一些实施例中,确定模块803,用于基于区间阈值集合,确定评估模型;基于评估模型,确定数据传输状态。
在一些实施例中,获取模块801,用于获取第一系统与第二系统之间的历史指标信息;
处理模块802,用于基于历史指标信息对区间阈值集合进行标注,得到训练数据;
确定模块803,用于确定初始评估模型;基于训练数据对初始评估模型的参数进行调整,确定评估模型。
在一些实施例中,处理模块802,用于对区间阈值集合中的区间阈值进行分析,得到分析结果;若分析结果表示区间阈值的变化率大于或等于变化率阈值,调整区间阈值集合。
在一些实施例中,指标信息的类型为至少两种;区间阈值的类型包括至少两种;
获取模块801,用于获取第一系统与第二系统之间的数据传输日志;
处理模块802,用于基于区间阈值集合中的区间阈值对数据传输日志进行处理,得到处理结果;
确定模块803,用于基于处理结果,确定第一系统与第二系统在第二时段的数据传输状态;其中,第二时段至少包括第一时段的未来时段。
基于前述实施例,本申请实施例还提供了一种电子设备,该电子设备可以包括处理器以及存储器,其中,存储器中存储有计算机程序,该计算机程序被处理器执行时,能够实现如前任一实施例所述的状态确定方法。
上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
上述存储器,可以是易失性存储器(volatile memory),例如随机存取存储器(Random Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),flash memory,硬盘驱动器(Hard Disk Drive,HDD)或固态硬盘(Solid State Disk,SSD);或者上述种类的存储器的组合,并向处理器提供指令和数据。
示例性的,上述获取模块801、处理模块802以及确定模块803可以通过电子设备的处理器实现。
基于前述实施例,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被电子设备的处理器执行时,能够实现如前任一实施例所述的状态确定方法。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种状态确定方法,所述方法包括:
获取第一信息;其中,所述第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息,所述第一时段是根据所述第一系统与所述第二系统之间数据传输实际的状态而确定;
对所述第一信息进行分析,得到所述第一时段内所述第一系统与所述第二系统之间的数据传输量;
基于所述数据传输量,确定目标区间;
基于所述目标区间以及所述数据传输量执行分区间统计,得到区间阈值集合;其中,所述区间阈值集合包括区间阈值的集合;所述区间阈值包括所述指标信息在至少一个区间的阈值;
基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态。
2.根据权利要求1所述的方法,其中,所述基于所述数据传输量,确定目标区间,包括:
确定第k区间;其中,所述第k区间包括对所述第一时段分割得到的时域区间;k为大于或等于1的整数;
基于所述第k区间对所述数据传输量进行分割,得到第k分割结果;
基于所述第k分割结果以及所述第k区间,确定所述目标区间。
3.根据权利要求2所述的方法,其中,所述基于所述第k分割结果以及所述第k区间,确定所述目标区间,包括:
若k大于或等于2,基于第一分割结果至所述第k分割结果以及第一区间至所述第k区间,确定关联信息;其中,所述关联信息包括第m分割结果与第m区间之间对应关联的信息;m为大于或等于1且小于或等于k的整数;
基于所述关联信息的梯度信息,从所述第一区间至所述第k区间中确定所述目标区间。
4.根据权利要求1所述的方法,其中,所述基于所述目标区间以及所述数据传输量执行所述分区间统计,得到所述区间阈值集合,包括:
基于所述目标区间,对所述第一信息进行分割,得到第二信息;
基于所述数据传输量对所述第二信息中的指标信息进行统计,得到指标分位数;
对所述指标分位数进行分析,得到所述区间阈值集合。
5.根据权利要求1所述的方法,其中,所述基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态,包括:
基于所述区间阈值集合,确定评估模型;
基于所述评估模型,确定所述数据传输状态。
6.根据权利要求5所述的方法,其中,所述基于所述区间阈值集合,确定评估模型,包括:
获取所述第一系统与所述第二系统之间的历史指标信息;
基于所述历史指标信息对所述区间阈值集合进行标注,得到训练数据;
确定初始评估模型;
基于所述训练数据对所述初始评估模型的参数进行调整,确定所述评估模型。
7.根据权利要求1至6任一所述的方法,其中,所述方法还包括:
对所述区间阈值集合中的区间阈值进行分析,得到分析结果;
若所述分析结果表示所述区间阈值的变化率大于或等于变化率阈值,调整所述区间阈值集合。
8.根据权利要求1所述的方法,其中,所述指标信息的类型为至少两种;所述区间阈值的类型包括至少两种;所述基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态,包括:
获取所述第一系统与所述第二系统之间的数据传输日志;
基于所述区间阈值集合中的区间阈值对所述数据传输日志进行处理,得到处理结果;
基于所述处理结果,确定所述第一系统与所述第二系统在第二时段的数据传输状态;其中,所述第二时段至少包括所述第一时段的未来时段。
9.一种状态确定装置,其中,所述装置包括:
获取模块,用于获取第一信息;其中,所述第一信息包括第一时段内第一系统与第二系统之间数据传输的指标信息,所述第一时段是根据所述第一系统与所述第二系统之间数据传输实际的状态而确定;
处理模块,用于对所述第一信息进行分析,得到所述第一时段内所述第一系统与所述第二系统之间的数据传输量;基于所述数据传输量,确定目标区间;基于所述目标区间以及所述数据传输量执行分区间统计,得到区间阈值集合;其中,所述区间阈值集合包括区间阈值的集合;所述区间阈值包括所述指标信息在至少一个区间的阈值;
确定模块,用于基于所述区间阈值集合,确定所述第一系统与所述第二系统之间的数据传输状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210723917.9A CN115190038B (zh) | 2022-06-23 | 2022-06-23 | 一种状态确定方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210723917.9A CN115190038B (zh) | 2022-06-23 | 2022-06-23 | 一种状态确定方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115190038A CN115190038A (zh) | 2022-10-14 |
CN115190038B true CN115190038B (zh) | 2024-04-19 |
Family
ID=83514658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210723917.9A Active CN115190038B (zh) | 2022-06-23 | 2022-06-23 | 一种状态确定方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115190038B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111984503A (zh) * | 2020-08-17 | 2020-11-24 | 网宿科技股份有限公司 | 一种监控指标数据异常数据识别的方法及装置 |
CN112711514A (zh) * | 2020-12-30 | 2021-04-27 | 北京珞安科技有限责任公司 | 一种终端设备的监控系统、方法及装置 |
CN114444827A (zh) * | 2020-10-30 | 2022-05-06 | 中国移动通信集团四川有限公司 | 一种集群性能的评估方法和装置 |
CN114564370A (zh) * | 2022-04-29 | 2022-05-31 | 天云软件技术有限公司 | 告警阈值的确定方法、装置、设备及计算机存储介质 |
CN114610561A (zh) * | 2021-08-19 | 2022-06-10 | 湖南亚信软件有限公司 | 系统监测方法、装置、电子设备及计算机可读存储介质 |
-
2022
- 2022-06-23 CN CN202210723917.9A patent/CN115190038B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111984503A (zh) * | 2020-08-17 | 2020-11-24 | 网宿科技股份有限公司 | 一种监控指标数据异常数据识别的方法及装置 |
CN114444827A (zh) * | 2020-10-30 | 2022-05-06 | 中国移动通信集团四川有限公司 | 一种集群性能的评估方法和装置 |
CN112711514A (zh) * | 2020-12-30 | 2021-04-27 | 北京珞安科技有限责任公司 | 一种终端设备的监控系统、方法及装置 |
CN114610561A (zh) * | 2021-08-19 | 2022-06-10 | 湖南亚信软件有限公司 | 系统监测方法、装置、电子设备及计算机可读存储介质 |
CN114564370A (zh) * | 2022-04-29 | 2022-05-31 | 天云软件技术有限公司 | 告警阈值的确定方法、装置、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115190038A (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7243049B1 (en) | Method for modeling system performance | |
EP3637351A1 (en) | System and method for predicting and reducing subscriber churn | |
CN116306320B (zh) | 非血管腔道导丝生产质量管理方法及系统 | |
CN110572297B (zh) | 网络性能的评估方法、服务器及存储介质 | |
KR101871940B1 (ko) | 설비 이상 예측 모델의 구축방법 및 시스템 | |
KR20220114986A (ko) | 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법 | |
CN110633194B (zh) | 一种硬件资源在特定环境下的性能评估方法 | |
CN111262750B (zh) | 一种用于评估基线模型的方法及系统 | |
EP2963552B1 (en) | System analysis device and system analysis method | |
WO2023065584A1 (zh) | 设备的剩余使用寿命的确定方法、装置和电子设备 | |
JP2016517550A (ja) | ブロードバンドネットワークのチャーン予測 | |
CN109120463A (zh) | 流量预测方法及装置 | |
CN110059894A (zh) | 设备状态评估方法、装置、系统及存储介质 | |
CN115760484A (zh) | 一种配电台区隐患辨识能力提升方法、装置、系统及存储介质 | |
JP2023504103A (ja) | モデル更新システム、モデル更新方法及び関連装置 | |
CN111813644B (zh) | 系统性能的评价方法、装置、电子设备和计算机可读介质 | |
CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
Dashevskiy et al. | Time series prediction with performance guarantee | |
CN113312244A (zh) | 一种故障监测方法、设备、程序产品及存储介质 | |
CN115391048A (zh) | 基于趋势预测的微服务实例动态水平扩展收缩方法及系统 | |
CN114138601A (zh) | 一种业务告警方法、装置、设备及存储介质 | |
CN115190038B (zh) | 一种状态确定方法以及装置 | |
CN108664696B (zh) | 一种冷水机组运行状态的测评方法及装置 | |
CN116232851A (zh) | 一种网络异常的预警方法、装置、电子设备和存储介质 | |
CN114237098B (zh) | 一种电气产品的智能化数字管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |