CN111913848A - 一种数据监测分析方法及相关设备 - Google Patents
一种数据监测分析方法及相关设备 Download PDFInfo
- Publication number
- CN111913848A CN111913848A CN202010721529.8A CN202010721529A CN111913848A CN 111913848 A CN111913848 A CN 111913848A CN 202010721529 A CN202010721529 A CN 202010721529A CN 111913848 A CN111913848 A CN 111913848A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- abnormal
- target
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 126
- 238000003066 decision tree Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000003064 k means clustering Methods 0.000 claims description 8
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/004—Error avoidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种数据监测分析方法及相关设备，通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题。该方法包括：获取服务或系统的目标性能指标数据；根据所述目标性能指标数据判断所述服务或系统是否出现异常；当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；执行与所述分析结果对应的目标操作。
Description
技术领域
本申请涉及通信领域，尤其涉及一种数据监测分析方法及相关设备。
背景技术
现有的一些自动化处理系统都是通过单一的阈值来进行告警，通过告警值来做出处理，或者通过告警触发分析服务/系统状态的动作(比如通过中央处理器(CPU，centralprocessing unit)和内存使用率来判断服务器是否该扩容或者减少上面的服务数量)，通过硬编码规则来实现对系统/服务多性能指标进行分析，以求到达精确的结果。
如果服务的告警参数没有达到阈值则不会报警，无法发现一些隐藏问题，比如一个服务多项数据都突然增长或者下跌，这时候可能这个服务出了一些问题，但是因为没有达到阈值，所以很容易忽略这个现象；另外，单一的服务指标无法精确判断服务出现了什么问题，可能做出错误的操作，比如tomcat服务的CPU超标，但这个可能是由内存原因所引起的。
发明内容
本申请提供了一种数据监测分析方法及相关设备，通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题。
本申请第一方面提供了一种数据监测分析方法，包括：
获取服务或系统的目标性能指标数据；
根据所述目标性能指标数据判断所述服务或系统是否出现异常；
当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；
执行与所述分析结果对应的目标操作。
可选地，所述方法还包括：
获取所述服务或系统的性能指标数据集；
确定所述性能指标数据集中的异常数据子集；
确定所述异常数据子集对应的所述服务或系统的状态；
根据所述异常数据子集以及所述异常数据子集对应的所述服务或系统的状态生成所述预设决策树模型。
可选地，所述确定所述性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于所述N个簇心以及所述性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，所述第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，所述第二目标簇为所述N个簇中数据点之间的差值小于预设值的簇；
确定所述第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据所述异常值以及所述平均值判断所述第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将所述第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
可选地，所述根据所述目标性能指标数据判断所述服务或系统是否出现异常包括：
判断所述目标性能指标数据中是否出现异常数据点；
若是，则确定所述服务或系统出现异常。
可选地，所述方法还包括：
记录所述目标操作对应的操作信息；
展示所述操作信息；
基于所述目标性能指标数据以及所述分析结果对所述预设决策树模型进行更新。
本申请第二方面提供了一种数据监测分析装置，包括：
获取单元，用于获取服务或系统的目标性能指标数据；
判断单元，用于根据所述目标性能指标数据判断所述服务或系统是否出现异常；
分析单元，用于当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；
执行单元，用于执行与所述分析结果对应的目标操作。
可选地，所述装置还包括：
训练单元，所述训练单元用于：
获取所述服务或系统的性能指标数据集；
确定所述性能指标数据集中的异常数据子集；
确定所述异常数据子集对应的所述服务或系统的状态；
根据所述异常数据子集以及所述异常数据子集对应的所述服务或系统的状态生成所述预设决策树模型。
可选地，所述训练单元确定所述性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于所述N个簇心以及所述性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，所述第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，所述第二目标簇为所述N个簇中数据点之间的差值小于预设值的簇；
确定所述第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据所述异常值以及所述平均值判断所述第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将所述第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
可选地，所述判断单元具体用于：
判断所述目标性能指标数据中是否出现异常数据点；
若是，则确定所述服务或系统出现异常。
可选地，所述装置还包括：
展示单元，所述展示单元用于：
记录所述目标操作对应的操作信息；
展示所述操作信息；
所述训练单元还用于：
基于所述目标性能指标数据以及所述分析结果对所述预设决策树模型进行更新。
本申请第三方面提供了一种计算机装置，包括：至少一个连接的处理器、存储器和收发器；所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述第一方面所述的数据监测分析方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的数据监测分析方法的步骤。
综上所述，可以看出，本申请提供的实施例中，通过服务或系统的性能指标数据确定服务或系统是否出现异常，且在服务或系统出现异常时，通过预先训练好的预设决策树模型对目标性能指标数据进行分析，得到分析结果，并根据分析结果执行相应的操作。由于是通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题，另外，由于本申请通过决策树模型进行分析，可以修改决策树模型的数据，由此可以实现快速修改和生成新的决策树模型，处理新的问题，提高问题的处理效率。
附图说明
图1为本申请实施例提供的数据监测分析方法的流程示意图；
图2为本申请年实施例提供的预设决策树模型的训练流程示意图；
图3为本申请实施提供的决策树模型的生成示意图；
图4为本申请实施例提供的数据监测分析装置的虚拟结构示意图；
图5为本申请实施例提供的终端设备的硬件结构示意图；
图6为本申请实施例提供的服务器的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
下面从数据监测分析装置的角度对本申请的方法数据监测分析方法进行说明，该数据监测分析装置可以终端，也可以是服务器，还可以是服务器中的服务单元，具体不做限定。
请参阅图1，图1为本申请实施例提供的数据监测分析方法的流程示意图，包括：
101、获取服务或系统的目标性能指标数据。
本实施例中，数据监测分析装置可以获取服务或系统的目标性能指标数据，其中，如果是服务，那么该目标性能指标数据包括但不限于nginx连接数以及请求数等性能指标数据；如果是系统，该目标性能指标数据包括但不限于CPU使用率、内存使用率以及磁盘IO等性能指标数据，另外，此处具体不限定获取目标性能指标数据的方式，例如可以实时对服务或系统进行监测来获取服务或系统的目标性能指标数据，也可以是发送请求信息，使得服务或系统返回目标性能指标数据，当然还可以采用其他的方式，例如服务或系统周期性的发送目标性能指标数据，具体不做限定，只要能获取到目标性能指标数据即可。
102、根据目标性能指标数据判断服务或系统是否出现异常，若是，则执行步骤103。
本实施例中，数据监测分析装置在获取到目标性能指标数据之后，可以根据该目标性能指标数据判断服务或系统是否出现异常，具体的，可以判断该目标性能指标数据中是否出现异常数据点，若是，则确定服务或系统出现异常，执行步骤103，若否，则确定服务或系统未出现异常，则执行其他操作，例如再次获取服务或系统的性能指标数据。
需要说明的是，数据监测分析装置可以基于已有的Bisecting KMeans(二分K均值聚类)算法来对目标性能数据进行异常检测来确定，当然也还可以通过其他的异常检测算法来对目标性能指标数据进行检测，例如中值聚类或者iForest，具体不做限定。
103、当服务或系统异常时，将目标性能指标数据输入预设决策树模型，得到分析结果。
本实施例中，数据监测分析装置在根据目标性能指标数据确定服务或系统出现异常时，可以将目标性能指标数据输入预先训练好的预设决策树模型进行分析，得到分析结果，该分析结果指示获取目标性能指标数据时，服务或系统所处的状态。
104、执行与分析结果对应的目标操作。
本实施例中，在通过预设决策树模型对目标性能指标数据进行分析得到分析结果之后，可以执行与分析结果对应的目标操作。也就是说，在通过预设决策树模型对目标性能指标数据进行分析处服务或系统处于什么状态之后，可以根据系统或服务的状态做出相应的操作，例如重启服务、迁移服务或者服务器扩容等操作，当然也还可以有其他的操作，此处具体不做限定。
需要说明的是，在执行与分析结果对应的目标操作之后，还可以记录目标操作对应的操作信息，并展示该操作信息给用户查看，或者是将该操作信息通知用户，例如通知用户服务或系统的状态以及根据该状态所执行的操作，另外还可以根据目标性能指标数据以及分析结果对预设决策树模型进行更新。
综上所述，本申请提供的实施例中，通过服务或系统的性能指标数据确定服务或系统是否出现异常，且在服务或系统出现异常时，通过预先训练好的预设决策树模型对目标性能指标数据进行分析，得到分析结果，并根据分析结果执行相应的操作。由于是通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题，另外，由于本申请通过决策树模型进行分析，可以修改决策树模型的数据，由此可以实现快速修改和生成新的决策树模型，处理新的问题，提高问题的处理效率。
下面结合图2对本申请实施例提供的预设决策树模型的训练流程进行说明。
请参阅图2，图2为本申请实施例提供的预设决策树模型的训练流程示意图，包括：
201、获取服务或系统的性能指标数据集。
本实施例中，数据监测分析装置可以获取服务或系统的性能指标数据集，其中，每个指标数据集有60个数据[10，45，47，32，34，22，31…]，这个指标集中的数据量还可以根据实际需求来增加或者减少，但是每个指标数据集中的数据最少不少于6个。
202、确定性能指标数据集中的异常数据子集。
本实施例中，数据监测分析装置可以确定性能指标数据集中的异常数据子集。
一个实施例中，数据监测分析装置确定性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于N个簇心以及性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，第二目标簇为N个簇中数据点之间的差值小于预设值的簇；
确定第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据异常值以及平均值判断第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
本实施例中，数据监测分析装置可以使用k均值聚类初始化3个簇心，然后对服务/系统性能指标数据集进行计算生成3个簇，如果生成的3个簇中有一个簇只有一个数据，比如[10]，[22，32，34……]，[45，47……]，则判断此数据点为异常点；另外，因为BisectingKMeans算法的特性，有些微小的差值也会被判定为异常点，比如[10000，10000，10001，10001，10001，10002]，也就是说，可以从N个簇中选出差值小于一个预设值的簇，例如该预设值可以为1，这时10002就会被判定为异常数据点，但是这个簇中数据的差距很小，这种数据并不是需要的，所以还需要对数据进行计算处理，为了判定簇中的异常值是否符合所需的值，可以通过对差值小于预设值的簇中的异常值以及该簇中数据集的平均值来判断该簇中的异常值是否为异常数据点，具体的可以通过如下公式来判断：
|1-异常值/数据集平均值|>0.5，其中，0.5这个参数可以根据实际需求进行调整，当计算出来的结果大于0.5时，确定该异常值对应的数据点为异常数据。
203、确定异常数据子集对应的服务或系统的状态。
本实施例中，在确定出异常数据子集之后，数据监测分析装置可以确定出异常数据子集中的每个异常数据时，服务或系统所处的状态，此处可以通过人工进行确认，或者其他的方式，具体不过限定。
204、根据异常数据子集以及异常数据子集对应的服务或系统的状态生成预设决策树模型。
本实施例中，数据监测分析装置在获取到异常数据子集以及异常数据子集对应的服务或系统的状态时，可以根据异常数据子集以及异常数据子集对应的服务或系统的状态生成预设决策树模型。请参阅图3，图3为本申请实施例提供的决策树模型的生成示意图，此处以服务以及三组数据[100％，50％，0]，[190％，50％，1]，[100％，100％，2]为例进行说明，其中，每组数据的第一个为CPU使用率，第二个为内存使用率，第三个是分析结果，用这些数据生成一个简单的决策树模型，以第一个分支为例，当CPU使用率为100％(指的是服务的CPU使用率，可以超过100％)，内存使用率为50％时，判定这个服务是正常的，无需对这个服务进行处理操作，其他两个以此类推。
综上所述，可以看出，本申请提供的实施例中，通过对服务或系统的性能指标数据集中的异常数据子集进行训练得到预设决策树模型，在通过该预设决策树模型进行数据分析时，由于是通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题，另外，由于本申请通过决策树模型进行分析，可以修改决策树模型的数据，由此可以实现快速修改和生成新的决策树模型，处理新的问题，提高问题的处理效率。
上面从数据监测分析方法的角度对本申请进行说明，下面从数据监测分析装置的角度对本申请进行说明。
请参阅图4，图4为本申请实施例提供的数据监测分析装置的虚拟结构示意图，包括：
获取单元401，用于获取服务或系统的目标性能指标数据；
判断单元402，用于根据所述目标性能指标数据判断所述服务或系统是否出现异常；
分析单元403，用于当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；
执行单元404，用于执行与所述分析结果对应的目标操作。
可选地，所述装置还包括：
训练单元405，所述训练单元405用于：
获取所述服务或系统的性能指标数据集；
确定所述性能指标数据集中的异常数据子集；
确定所述异常数据子集对应的所述服务或系统的状态；
根据所述异常数据子集以及所述异常数据子集对应的所述服务或系统的状态生成所述预设决策树模型。
可选地，所述训练单元405确定所述性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于所述N个簇心以及所述性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，所述第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，所述第二目标簇为所述N个簇中数据点之间的差值小于预设值的簇；
确定所述第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据所述异常值以及所述平均值判断所述第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将所述第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
可选地，所述判断单元402具体用于：
判断所述目标性能指标数据中是否出现异常数据点；
若是，则确定所述服务或系统出现异常。
可选地，所述装置还包括：
展示单元406，所述展示单元406用于：
记录所述目标操作对应的操作信息；
展示所述操作信息；
所述训练单元405还用于：
基于所述目标性能指标数据以及所述分析结果对所述预设决策树模型进行更新。
综上所述，本申请提供的实施例中，通过服务或系统的性能指标数据确定服务或系统是否出现异常，且在服务或系统出现异常时，通过预先训练好的预设决策树模型对目标性能指标数据进行分析，得到分析结果，并根据分析结果执行相应的操作。由于是通过决策树模型对性能指标数据进行分析，解决了现有的一个服务多项数据突然增长或下跌时还不会报错的问题，也可以避免现有的单一服务器指标无法精确判断服务出现的问题，另外，由于本申请通过决策树模型进行分析，可以修改决策树模型的数据，由此可以实现快速修改和生成新的决策树模型，处理新的问题，提高问题的处理效率。
本申请实施例还提供了另一种数据监测分析装置，如图5所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该数据监测分析装置可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以数据监测分析装置为手机为例：
图5示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图5，手机包括：射频(Radio Frequency，RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity，WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍：
RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531以及其他输入设备532。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一手机，或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理单元；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
手机还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，处理器580还可以执行上述由数据监测分析装置所执行的操作。
图6是本申请实施例提供的一种服务器结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图6所示的服务器结构。
本申请实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述所述数据监测分析方法的步骤。
本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述数据监测分析方法的步骤。
本申请实施例还提供了一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行以实现上述所述数据监测分析方法的步骤。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述数据监测分析方法的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据监测分析方法，其特征在于，包括：
获取服务或系统的目标性能指标数据；
根据所述目标性能指标数据判断所述服务或系统是否出现异常；
当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；
执行与所述分析结果对应的目标操作。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述服务或系统的性能指标数据集；
确定所述性能指标数据集中的异常数据子集；
确定所述异常数据子集对应的所述服务或系统的状态；
根据所述异常数据子集以及所述异常数据子集对应的所述服务或系统的状态生成所述预设决策树模型。
3.根据权利要求2所述的方法，其特征在于，所述确定所述性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于所述N个簇心以及所述性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，所述第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，所述第二目标簇为所述N个簇中数据点之间的差值小于预设值的簇；
确定所述第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据所述异常值以及所述平均值判断所述第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将所述第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述目标性能指标数据判断所述服务或系统是否出现异常包括：
判断所述目标性能指标数据中是否出现异常数据点；
若是，则确定所述服务或系统出现异常。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
记录所述目标操作对应的操作信息；
展示所述操作信息；
基于所述目标性能指标数据以及所述分析结果对所述预设决策树模型进行更新。
6.一种数据监测分析装置，其特征在于，包括：
获取单元，用于获取服务或系统的目标性能指标数据；
判断单元，用于根据所述目标性能指标数据判断所述服务或系统是否出现异常；
分析单元，用于当所述服务或系统出现异常时，将所述目标性能指标数据输入预设决策树模型，得到分析结果，所述预设决策树模型为预先通过对训练样本进行训练得到，所述训练样本包括所述服务或系统的性能指标数据集与所述服务或系统对应的状态，所述分析结果指示所述服务或系统的状态；
执行单元，用于执行与所述分析结果对应的目标操作。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练单元，所述训练单元用于：
获取所述服务或系统的性能指标数据集；
确定所述性能指标数据集中的异常数据子集；
确定所述异常数据子集对应的所述服务或系统的状态；
根据所述异常数据子集以及所述异常数据子集对应的所述服务或系统的状态生成所述预设决策树模型。
8.根据权利要求7所述的装置，其特征在于，所述训练单元确定所述性能指标数据集中的异常数据子集包括：
通过k均值聚类初始化N个簇心，N为大于或等3的正整数；
基于所述N个簇心以及所述性能指标数据集确定N个簇；
将第一目标簇中的数据点确定为第一异常数据，所述第一目标簇为所述N个簇中只包含一个数据的簇；
确定第二目标簇，所述第二目标簇为所述N个簇中数据点之间的差值小于预设值的簇；
确定所述第二目标簇中的异常值以及所述第二目标簇对应的平均值；
根据所述异常值以及所述平均值判断所述第二目标簇中的异常值对应的数据点是否为异常数据点；
若是，则将所述第二目标簇中的异常值对应的数据点确定为第二异常数据；
其中，所述第一异常数据以及所述第二异常数据均包含于所述异常数据子集。
9.一种计算机装置，其特征在于，包括：
至少一个连接的处理器、存储器和收发器；
所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述权利要求1至5中任一项所述的数据监测分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行上述权利要求1至5中任一项所述的数据监测分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010721529.8A CN111913848A (zh) | 2020-07-24 | 2020-07-24 | 一种数据监测分析方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010721529.8A CN111913848A (zh) | 2020-07-24 | 2020-07-24 | 一种数据监测分析方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111913848A true CN111913848A (zh) | 2020-11-10 |
Family
ID=73281471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010721529.8A Pending CN111913848A (zh) | 2020-07-24 | 2020-07-24 | 一种数据监测分析方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111913848A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897705A (zh) * | 2020-07-06 | 2020-11-06 | 上海泛微网络科技股份有限公司 | 服务状态处理、模型训练方法、装置、设备和存储介质 |
| CN112434308A (zh) * | 2020-12-14 | 2021-03-02 | 招商局金融科技有限公司 | 应用漏洞检测方法、装置、电子设备及计算机存储介质 |
| CN113553237A (zh) * | 2021-07-21 | 2021-10-26 | 中国工商银行股份有限公司 | 异常场景应急处理方法及装置 |
| CN113722176A (zh) * | 2021-07-30 | 2021-11-30 | 银清科技有限公司 | 一种自适应的异常性能指标确定方法及装置 |
| CN116594364A (zh) * | 2023-06-13 | 2023-08-15 | 宁夏迎福食品科技有限公司 | 基于预制菜生产控制系统的优化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897109A (zh) * | 2017-02-13 | 2017-06-27 | 云南大学 | 基于随机森林回归的虚拟机性能预测方法 |
| CN108804251A (zh) * | 2018-05-31 | 2018-11-13 | 深圳市智象科技有限公司 | 一种运行维护的数据处理方法和装置 |
| CN111124856A (zh) * | 2019-11-30 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种预测存储设备性能的方法、装置、设备及存储介质 |
-
2020
- 2020-07-24 CN CN202010721529.8A patent/CN111913848A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897109A (zh) * | 2017-02-13 | 2017-06-27 | 云南大学 | 基于随机森林回归的虚拟机性能预测方法 |
| CN108804251A (zh) * | 2018-05-31 | 2018-11-13 | 深圳市智象科技有限公司 | 一种运行维护的数据处理方法和装置 |
| CN111124856A (zh) * | 2019-11-30 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种预测存储设备性能的方法、装置、设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897705A (zh) * | 2020-07-06 | 2020-11-06 | 上海泛微网络科技股份有限公司 | 服务状态处理、模型训练方法、装置、设备和存储介质 |
| CN112434308A (zh) * | 2020-12-14 | 2021-03-02 | 招商局金融科技有限公司 | 应用漏洞检测方法、装置、电子设备及计算机存储介质 |
| CN112434308B (zh) * | 2020-12-14 | 2024-02-20 | 招商局金融科技有限公司 | 应用漏洞检测方法、装置、电子设备及计算机存储介质 |
| CN113553237A (zh) * | 2021-07-21 | 2021-10-26 | 中国工商银行股份有限公司 | 异常场景应急处理方法及装置 |
| CN113722176A (zh) * | 2021-07-30 | 2021-11-30 | 银清科技有限公司 | 一种自适应的异常性能指标确定方法及装置 |
| CN116594364A (zh) * | 2023-06-13 | 2023-08-15 | 宁夏迎福食品科技有限公司 | 基于预制菜生产控制系统的优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110278449B (zh) | 一种视频检测方法、装置、设备及介质 | |
| CN111913848A (zh) | 一种数据监测分析方法及相关设备 | |
| CN110334124B (zh) | 压缩算法选择方法、装置以及设备 | |
| CN107368400B (zh) | Cpu监测方法、装置、计算机可读存储介质和移动终端 | |
| CN106911848B (zh) | 输出提示消息的方法与终端设备 | |
| CN106909667B (zh) | 基于桌面启动器的应用推荐方法、装置及移动终端 | |
| CN111580815B (zh) | 一种页面元素的编辑方法及相关设备 | |
| CN110597793A (zh) | 数据管理方法及装置、电子设备和计算机可读存储介质 | |
| CN111222563A (zh) | 一种模型训练方法、数据获取方法以及相关装置 | |
| CN108492837B (zh) | 音频突发白噪声的检测方法、装置及存储介质 | |
| CN114282169A (zh) | 一种异常数据的检测方法以及相关装置 | |
| CN115904950A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
| CN112711516B (zh) | 一种数据处理方法和相关装置 | |
| CN106095566B (zh) | 一种响应控制方法及移动终端 | |
| CN110277097B (zh) | 数据处理方法及相关设备 | |
| CN111367502A (zh) | 一种数值处理方法和装置 | |
| CN108269223B (zh) | 一种网页图形绘制方法及终端 | |
| CN114814767A (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
| CN109799994B (zh) | 一种终端组件生成方法及装置 | |
| CN112367428A (zh) | 电量的显示方法、系统、存储介质及移动终端 | |
| CN106657278B (zh) | 一种数据传输方法、装置及计算机设备 | |
| CN110809234A (zh) | 一种人物类别识别方法和终端设备 | |
| CN112069079A (zh) | 一种性能测试的方法、相关装置及存储介质 | |
| CN111382335B (zh) | 一种数据拉取方法、装置及存储介质 | |
| CN112083887B (zh) | 一种数据处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |