CN111082956B - 一种事件流处理方法、电子设备和可读存储介质 - Google Patents
一种事件流处理方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111082956B CN111082956B CN201811231016.8A CN201811231016A CN111082956B CN 111082956 B CN111082956 B CN 111082956B CN 201811231016 A CN201811231016 A CN 201811231016A CN 111082956 B CN111082956 B CN 111082956B
- Authority
- CN
- China
- Prior art keywords
- event
- stream processing
- event stream
- scene
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 82
- 230000006872 improvement Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000005111 flow chemistry technique Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 229910010888 LiIn Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例涉及电信通讯领域，公开了一种事件流处理方法、电子设备和可读存储介质。本发明一实施方式中提供了事件流处理方法，包括：预处理事件日志，其中，在事件日志中为预设的待预测场景确定终止事件，根据所确定的终止事件分别找出引发待预测场景的流程轨迹；生成事件流处理模型，其中，根据流程轨迹生成对应待预测场景的事件流处理模型；网络监控，其中，利用事件流处理模型进行网络监控。本发明实施方式提供一种事件流处理方法、电子设备和可读存储介质，使得网络监控更为实时有效。
Description
技术领域
本发明实施例涉及通讯运维领域，特别涉及事件流处理方法、电子设备和可读存储介质。
背景技术
随着物联网，5G等通讯技术的发展，通信网络日趋复杂，网络状况瞬息万变，大量的通信网络事件(也可以称为“活动”)持续不断地产生并记录成事件日志。通讯网络中发生的一个动作、状态改变、系统之间交流信息等等，都是事件，而这些具有时间序列的事件便构成了事件流。
面对现有通信网络通信技术变更发展，网络承载量急速扩大、网络架构异构等问题，为保证通讯网络的稳定性和实时性，网络运营商对其运维系统的要求也越来越高，希望其运维系统能够根据事件日志实现对事件流处理自动化发现，对通讯网络进行更有效地监控和预警，对各种网络问题能够实时地响应。这就需要运维系统具备对已发生的事件流进行有效地处理，对即将发生或有可能发生的事件流进行预警的能力。
发明内容
本发明实施方式的目的在于提供一种事件流处理方法、电子设备和可读存储介质，使得网络监控更为实时有效。
为解决上述技术问题，本发明的实施方式提供了一种事件流处理方法，包括：预处理事件日志，其中，在事件日志中为预设的待预测场景确定终止事件，根据所确定的终止事件分别找出引发所述待预测场景的流程轨迹；生成事件流处理模型，其中，根据所述流程轨迹生成对应所述待预测场景的事件流处理模型；网络监控，其中，利用所述事件流处理模型进行网络监控。
本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的事件流处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的事件流处理方法。
本发明一实施方式利用新增的待预测场景，从场景角度明确监控和预警的目标，确定引发待预测场景的终止事件，针对性地找出引发这些场景的流程轨迹，并根据找出的流程轨迹生成事件流处理模型，使得模型生成过程中的数据更有针对性，快速筛除无效数据，减少无效事件参与运算，加快事件流处理模型的生成速度。之后再利用事件流处理模型进行网络监控，由于模型的生成速度加快，即可使得监控更为实时有效。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式中的事件流处理方法流程图；
图2是根据本发明第三实施方式中的事件流处理方法流程图；
图3a是根据本发明第三实施方式中的事件流处理方法中滑动窗的滑动场景示意图；
图3b是根据本发明第三实施方式中的事件流处理方法中滑动窗的滑动流程图；
图4是根据本发明第四实施方式中的事件流处理方法中概率二维矩阵的转换流程图；
图5是根据本发明第六实施方式中的服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种事件流处理方法。应用于一种服务器，一种网络监控服务器，在本实施方式中具体采用刀片服务器对运营商网络进行运维。其中，刀片服务器是指在标准高度的机架式机箱内可插装多个卡式的服务器单元，是一种实现HAHD(HighAvailability High Density，高可用高密度)的低成本服务器平台，为特殊应用行业和高密度计算环境专门设计。刀片服务器就像“刀片”一样，每一块“刀片”实际上就是一块系统主板。
如图1所示，本实施方式中事件流处理方法流程具体如下：
步骤101，预处理事件日志。
具体的说，本步骤具体包括：预设待预测场景，在事件日志中为预设的待预测场景确定终止事件，根据所确定的终止事件找出引发待预测场景的流程轨迹。其中，日志中记录的每条记录为事件，事件里包括操作事件，终止事件即处理模型预警或优化目标所产生的事件，场景即处理模型预警或优化的目标。
本实施方式中，若待预测场景预设有多个，那么要分别为每个待预测场景确定终止事件，再分别找出引发待预测场景的流程轨迹。
更具体的说，待预测场景为需要预警和优化的场景，在设定好待预测场景后，需要了解每个场景有哪些事件组成，并明确终止事件。配置场景和事件、终止事件的映射关系。例如下表(1)中，场景预警和优化的场景可以有：基站退服预警、硬件损坏预警和网络性能提升；硬件损坏预警场景的终止事件是SCTP(Stream Control Transmission Protocol，流控制传输协议)断链告警，根据SCTP断链告警可以确定硬件损坏预警场景的轨迹流程具体包括：CPU使用率超过90％、SCTP断链告警；上述轨迹流程中包括两个事件，分别是CPU使用率超过90％和SCTP断链告警，所以也可以为这两个事件打上场景标签，便于后续的识别。再例如：表(1)中序号为1的记录为：干接点基站断电告警、小区退服告警、掉话率超过1％、接入成功率<90％、基站退服告警分别都打上基站退服预警场景标识。
表(1)
本实施方式中，关于事件的数据结构可以如下：对于任意一个事件日志L，其具有活动轨迹为
活动轨迹中的元素按照时间的先后顺序排序，其中相邻的两个活动Ti和Ti+1组成一个活动对，具体数据结构可以定义如下：
AC＝(Ai,Ai+1,count,Ci,Li,Array(time))
Ai,Ai+1表示相邻的两个事件，以活动对表示，count表示该活动对在事件日志L出现的次数，C表示活动对所属的场景，Li表示该场景的重要性，Array(time)记录Ai,Ai+1事件每次出现的时间。
对已生成的活动对，还可以进行去除噪音数据的处理，去噪处理可以减少无关数据的干扰，使得后续生成模型时更为准确快速。具体的说，清除噪音数据的约束条件如下：
(1)无孤性。在事件日志中的流程轨迹
中，不存在活动对AC＝(Ai,Ai+1,count,Ci,Li,Array(time))中，活动
或Ai+1＝φ的情况。
(2)起止唯一。有且仅有一个A0和An表示事件流的开始和终止状态，其中
(3)无死循环。在事件日志L中的活动轨迹
中，不存在开始活动A0和终止活动An相同的情况，即不存在A0＝An。
此外，活动样本除了本实施方式中的包括两个事件的形式外，也可以包括三个事件或更多，在此不再赘述。
将事件日志中的事件做去噪处理后，就可以生成事件流的流程轨迹。
步骤102，生成事件流处理模型。
具体的说，根据流程轨迹生成对应待预测场景的事件流处理模型。其中，待预测场景可以设置有分类；其中，若待预测场景属于预警分类，则事件流处理模型包括场景引发概率模型；若待预测场景属于性能提升分类，则事件流处理模型包括场景引发时长模型。
以下为生成场景引发概率模型的一种方式：将活动样本的集合Array(AC)转换成二维数组。在活动对样本的集合Array(AC)中，活动对AC＝(Ai,Ai+1,count,Ci,Li,Array(time))中count表示矩阵Mjj+1的值，按照步骤101清除噪音数据的规则，某一个场景case下的流程轨迹不会出现Ai→Ai+1和Ai+1→Ai同时存在的情况，那么活动对集合Array(AC)转换成的二维数组为主对角线为0的上三角矩阵M。将上述构造的M转换为概率二维矩阵PM。具体可以利用以下公式转换，同时：
其中，概率二维矩阵PM也为主对角线为0的上三角矩阵。
以下为生成场景引发时长模型的一种方式：上述构造的M转换为步长二维矩阵SM，转换方法为将上述构造的M中不为0的元素转换为1，步长二维矩阵SM为主对角线为0，其他元素为1的上三角矩阵。
更具体的说，根据流程轨迹生成对应待预测场景的事件流处理模型，具体包括：从流程轨迹中分解出活动样本；根据活动样本的集合生成事件流处理模型。其中的活动样本可以是活动对的形式，活动对包括流程轨迹上相邻的两个事件。
步骤103，进行网络监控。
具体的说，利用步骤102中生成的事件流处理模型进行网络监控。
现有的事件流处理技术是基于事件驱动架构，一种事件流处理模型是静态的、由用户事先制定的，在事件到达时根据预先定义事件流处理模型进行处理，不会随着事件流及其发生的时间而变化，更不会主动发现事件流的优化处理方法，对于新增或突发性事件更无法响应；另一种事件流处理技术是从整个存储的事件日志的快照中提取流程模型。但是该方法在大量事件产生的情况下，存储全部事件日志并从头开始不断重新发现事件流的处理模型是不切实际的，对新增或突发性事件无法及时响应。
所以，本实施方式改进了模型的生成过程，利用新增的待预测场景，从场景角度明确监控和预警的目标，确定引发待预测场景的终止事件，针对性地找出引发这些场景的流程轨迹，并根据找出的流程轨迹生成事件流处理模型，使得模型生成过程中的数据更有针对性，快速筛除无效数据，减少无效事件参与运算，加快事件流处理模型的生成速度。之后再利用事件流处理模型进行网络监控，由于生成模型时参与运算的数据少且有针对性，所以事件流处理模型的生成速度加快，即可使得监控更为实时有效。另外，由于本实施方式中采用包括两个事件的活动对的形式进行数据的处理，简化数据处理量，提升模型生成效率。
本发明的第二实施方式涉及一种事件流处理方法。第二实施方式是在第一实施方式的基础上做了进一步改进，主要改进之处在于：在第一实施方式中利用流程轨迹获得活动样本的基础上，进一步减少参与生成模型的数据量，使得精简后的数据准确，进一步加快模型的生成速度，从而提高监控的实时有效。
由于统计所有事件日志，不仅消耗资源，而且无法及时变更事件流处理模型。为及时响应时间，提高事件流效用，可以设置分析事件流数据窗口。具体的说，从流程轨迹中提取活动样本的步骤具体包括：截取流程轨迹中的部分轨迹；从所截取的部分轨迹中分解出活动样本。进一步说，截取可以利用数据窗口进行截取，数据窗口在设置时，原则可以包括：有事件发生的时间段、事件活动的数量以及动态生成的事件流处理模型大小等。其中，动态生成的事件流处理模型的大小和事件的数量正相关，所以也可以直接参考事件发生的时间段和单位时间内的事件活动的数量。
比如：在数据窗口的窗长为2分钟，设置位置为最新数据时，那么从事件日志中只截取最近2分钟的流程轨迹，从这2分钟的流程轨迹中分解出活动对。
可见，在截取的部分轨迹中获得活动对，参与模型生成的活动对数量大大减小，进一步加快模型的生成速度，从而提高监控的实时有效。
本发明的第三实施方式涉及一种事件流处理方法。第三实施方式是在第一实施方式的基础上做了进一步改进，主要改进之处在于：生成的事件流处理模型可以进行更新。
如图2所示，本实施方式中事件流处理方法流程具体如下：
本实施方式中的步骤201和步骤202与第一实施方式中的步骤101和102相类似，在此不再赘述。
步骤203，更新事件流处理模型。
具体的说，在更新事件流处理模型时，截取流程轨迹中的部分轨迹，具体为：利用预设的滑动窗截取流程轨迹中的部分轨迹。也就是说，每更新一次事件流处理模型后，滑动窗向后滑动一个时序，滑动窗向后滑过一个时序，就从滑动后的滑动窗重新提取活动对，生成一个新的事件流处理模型，并利用新的事件流处理模型覆盖原有的事件流处理模型。其中，滑动窗的窗长和移动速度的设置规则包括：事件发生的时间和/或单位时间内发生事件的数量。
实际应用中，滑动窗滑动的过程可以如图3a和图3b所示，在此不再赘述。
对于新产生的事件日志，出现在滑动窗口的范围外，则按照先前设置的滑动窗口的原则进行窗口滑动。结合活动对AC＝(Ai,Ai+1,count,Ci,Li,Array(time))中场景的重要性Li，如果此活动对的重要性高，那么保留在活动对活动样本的集合Array(AC)中，否则删除。并根据新产生的活动对活动样本的集合Array(AC)的内容进行更新。在删除活动对集合Array(AC)中的某一个元素后，可以循环检查活动对集合Array(AC)是否有噪音数据，有的话，可以删除噪音数据。
本实施方式中，待预测场景预设有重要性，在更新事件流处理模型时，活动样本的集合不仅包括从滑动窗中提取出的活动对，还包括：所保存的历史滑动窗中重要性超过预设门限的待预测场景的流程轨迹中提取的活动样本。
表(2)
如上表(2)所示，分别为基站退服预警场景、硬件损坏预警场景和网络性能提升场景设置了重要性，重要性分别是高、中、低，假设预设的门限为重要性为高，那么基站退服预警场景对应的事件在滑动窗滑动后都会被保存至活动样本的集合中，并不会因为其中部分事件被滑出滑动窗而不参与模型的生成。
步骤204，利用事件流处理模型进行网络监控。
具体的说，本实施方式中利用步骤203更新后的事件流处理模型进行网络监控。
本发明的第四实施方式涉及一种事件流处理方法。本实施方式中对如何进行基站退服预警场景的预测进行说明。
本实施方式中，事件流处理方法的流程图如图2所示，具体如下：
在上述步骤201中，首先建立了基站退服、硬件损坏预警和对应的事件模型，如下表(3)：
表(3)
然后在各个事件日志到达预处理模块时，例如干接点基站断电告警、小区退服告警、基站退服告警等事件日志，打上基站退服预警的场景标签，CPU使用率超过90％、SCTP断链告警，打上硬件损坏预警的场景标签。
解析事件日志，生成活动对，本实施例中具体如下：
1)干接点基站断电告警以A表示。
2)小区退服告警以B表示。
3)掉话率超过1％以C表示。
4)接入成功率<90％以D表示。
5)基站退服告警以E表示。
6)CPU使用率超过90％以F表示。
7)SCTP断链告警以G表示。
如果事件按时间顺序报了A、B、E、F、A、B、E、A、C、D、E日志，没有G，那么得到的活动对有：
1)、(A，B，1,基站退服预警，高，[20180821042232])
2)、(B，E，1,基站退服预警，高，[20180822113545])
3)、(F，φ，1,硬件损坏预警，中，[20180823165211])
4)、(A，B，1,基站退服预警，高，[20180825110616])
5)、(B，E，1,基站退服预警，高，[20180826132556])
6)、(A，C，1,基站退服预警，高，[20180826134628])
7)、(C，D，1,基站退服预警，高，[20180826140339])
8)、(D，E，1,基站退服预警，高，[20180826163747])
去除孤立性、起止唯一、死循环的活动对噪音数据，例如本例中去掉孤立的活动对(F，φ，1，硬件损坏预警，[201808211452])。
在上述步骤202中，假如当前时间为2018年8月26日23:58:40，首先设置分析基站退服预警的滑动窗口，本例中根据事件发生的时间设置为2018年8月21日00:00:00到2018年8月26日23:59:59即6天。
假如当前时间到了2018年8月27日06:05:31，并且在此时发生了一个事件B，那么系统动态调整滑动窗口到2018年8月21日06:05:31到2018年8月27日06:05:31。
此时，活动对(A，B，1,基站退服预警，高，[20180821042232])在此滑动窗口时间外，那么判断此基站退服预警场景的优先级为高，那么需要保留此活动对。
根据新产生的活动对活动对集合的内容进行更新：
1)、(A，B，1,基站退服预警，高，[20180821042232])
2)、(B，E，1,基站退服预警，高，[20180822113545])
3)、(A，B，1,基站退服预警，高，[20180825110616])
4)、(B，E，1,基站退服预警，高，[20180826132556])
5)、(A，C，1,基站退服预警，高，[20180826134628])
6)、(C，D，1,基站退服预警，高，[20180826140339])
7)、(D，E，1,基站退服预警，高，[20180826163747])
8)、(B，φ，1,基站退服预警，高，[20180827060531])
循环检查活动对集合是否有噪音数据，去掉8)中的孤立数据。那么最终生成事件流的流程轨迹如下：
1)、(A，B，1,基站退服预警，高，[20180821042232])
2)、(B，E，1,基站退服预警，高，[20180822113545])
3)、(A，B，1,基站退服预警，高，[20180825110616])
4)、(B，E，1,基站退服预警，高，[20180826132556])
5)、(A，C，1,基站退服预警，高，[20180826134628])
6)、(C，D，1,基站退服预警，高，[20180826140339])
7)、(D，E，1,基站退服预警，高，[20180826163747])
遍历上述的流程轨迹，可以得到基站退服预警场景下由不同活动对组成的活动对集合Array(AC)，并统计活动对集合Array(AC)中每个活动对出现的频次，即：
1)、(A，B，2,基站退服预警，高，[20180821042232]，20180825110616)
2)、(B，E，2,基站退服预警，高，[20180822113545]，20180826132556)
3)、(A，C，1,基站退服预警，高，[20180826134628])
4)、(C，D，1,基站退服预警，高，[20180826140339])
5)、(D，E，1,基站退服预警，高，[20180826163747])
将上述基站退服预警场景的活动对集合转换成二维数组：
| A | B | C | D | E | |
| A | 0 | 2 | 1 | 0 | 0 |
| B | 0 | 0 | 0 | 1 | |
| C | 0 | 1 | 0 | ||
| D | 0 | 1 | |||
| E | 0 |
之后，可以根据图4的转换流程，将上述表格转换为概率二维矩阵PM。
得到PM结果如下表：
| A | B | C | D | E | |
| A | 0 | 66.7％ | 33.3％ | 0 | 0 |
| B | 0 | 0 | 0 | 100％ | |
| C | 0 | 100％ | 0 | ||
| D | 0 | 100％ | |||
| E | 0 |
在上述203步骤中，保存上述概率二维矩阵PM和到数据库中，对于需要进行基站退服预警的预测，假如在场景中已经出现了活动A，预测出现活动B的概率的方法为：
1、在已保存的步长二维矩阵SM上，可以利用弗洛伊德算法计算出活动A到活动B所有可能的路径。
2、根据已经计算出的活动A到活动B所有可能的路径，在已保存的概率二维矩阵PM上，计算出各个路径的概率，具体的计算方法如下：
pi＝PROMAj×…×PROMAB(j<B)
PROMAj为活动A到活动j的概率，pi为活动A到活动B在第i条路径上的概率。。将所有路径的概率相加，p＝p1+…+pn(n>1)。在场景case中活动A到活动B共有n条路径。可以预测在场景case中已经出现了活动A，活动B的出现的概率为p。
根据此概率预测的方法，如果出现事件A，那么出现基站退服告警C的概率为66.7％*100％+33.3％*100％*100％＝100％。
本发明的第五实施方式涉及一种事件流处理方法。本实施方式中对如何进行网络性能提升场景的预测进行说明。
本实施方式中的事件流处理方法同样如图2所示，具体如下：
在上述步骤201中，首先建立硬件损坏预警、网络性能提升和对应的事件模型，如下表：
然后在各个事件日志到达预处理模块时，例如CPU使用率超过90％、SCTP断链告警等事件日志，打上硬件损坏预警的场景标签，语音质量低、掉话率>0.1％、调整小区方向角、基站的闭塞解闭、掉话率指标<0.1％，打上网络性能提升的场景标签。
解析事件日志，生成活动对，本实施例中具体如下：
1)CPU使用率超过90％以A表示。
2)SCTP断链告警以B表示。
3)语音质量低以C表示。
4)掉话率>0.1％以D表示。
5)调整小区方向角以E表示。
6)基站的闭塞解闭以F表示。
7)掉话率指标<0.1％以G表示。
如果事件按时间顺序报了A、B、C、D、E、G、D、F、G日志，那么得到的活动对有：
1)、(A，B，1,硬件损坏预警，高，[20180821142205])
2)、(C，D，1,网络性能提升，高，[20180822113520])
3)、(D，E，1,网络性能提升，中，[20180823165212])
4)、(E，G，1,网络性能提升，高，[20180825110634])
5)、(D，F，1,网络性能提升，高，[20180826132559])
6)、(F，G，1,网络性能提升，高，[20180826134615])
去除孤立性、起止唯一、死循环的活动对噪音数据，本例中没有噪音数据。
在上述步骤202中，首先设置网络性能提升场景的滑动窗口，本例中根据事件发生的时间段设置为2018年8月21日00:00:00到2018年8月26日23:59:59即6天。
遍历在滑动窗口范围内2018年8月21日00:00:00到2018年8月26日23:59:59的事件日志，按照201中事件日志预处理模块中采用的规则和方法，生成事件流的流程轨迹如下：
1)、(A，B，1,硬件损坏预警，中，[20180821142205])
2)、(C，D，1,网络性能提升，高，[20180822113520])
3)、(D，E，1,网络性能提升，高，[20180823165212])
4)、(E，G，1,网络性能提升，高，[20180825110634])
5)、(D，F，1,网络性能提升，高，[20180826132559])
6)、(F，G，1,网络性能提升，高，[20180826134615])
遍历上述的流程轨迹，可以得到网络性能提升场景下由不同活动对组成的活动对集合Array(AC)，即网络性能提升场景的活动对有：
1)、(C，D，1,网络性能提升，高，[20180822113520])
3)、(D，E，1,网络性能提升，高，[20180823165212])
4)、(E，G，1,网络性能提升，高，[20180825110634])
5)、(D，F，1,网络性能提升，高，[20180826132559])
6)、(F，G，1,网络性能提升，高，[20180826134615])
将上述网络性能提升场景的活动对集合转换成二维数组：
| C | D | E | F | G | |
| C | 0 | 1 | 0 | 0 | 0 |
| D | 0 | 1 | 1 | 0 | |
| E | 0 | 0 | 1 | ||
| F | 0 | 1 | |||
| G | 0 |
根据前述二维数据转换为步长矩阵的方法，转换方法为将上述构造的M中不为0的元素转换为1，步长二维矩阵SM为主对角线为0，其他元素为1的上三角矩阵。
步长二维矩阵SM如下表：
| C | D | E | F | G | |
| C | 0 | 1 | 0 | 0 | 0 |
| D | 0 | 1 | 1 | 0 | |
| E | 0 | 0 | 1 | ||
| F | 0 | 1 | |||
| G | 0 |
在上述步骤203中，保存上述步长二维矩阵SM到数据库中
根据已保存的步长二维矩阵SM，利用寻找最短路径的方法，优化场景的处理流程。寻找最短路径可以采用现有的算法，比如：深度或广度优先搜索算法、弗洛伊德算法、迪杰斯特拉算法等等。
对于需要进行预估网络性能提升的最短路径，那么出现掉话率指标<0.1％G的最短路径，根据弗洛伊德算法为D-F-G，即掉话率>0.1％-基站的闭塞解闭-掉话率指标<0.1％。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第六实施方式涉及一种服务器，如图5所示，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述第一实施方式至第五实施方式的一种事件流处理方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (8)
1.一种事件流处理方法，其特征在于，应用于服务器，包括：
预处理事件日志，其中，在事件日志中为预设的待预测场景确定终止事件，根据所确定的终止事件分别引发所述待预测场景的流程轨迹，事件日志中记录的每条记录为事件，事件的活动对AC满足：AC＝(Ai,Ai+1,count,Ci,Li,Array(time))
其中，Ai,Ai+1表示相邻的两个事件，以活动对表示，count表示该活动对在事件日志L出现的次数，Ci表示活动对所属的场景，Li表示该场景的重要性，Array(time)记录Ai,Ai+1事件每次出现的时间；
其中，对事件日志中的事件进行去噪处理，生成事件流的流程轨迹；
生成事件流处理模型，其中，根据所述流程轨迹生成对应所述待预测场景的事件流处理模型；
进行网络监控，其中，利用所述事件流处理模型进行网络监控，其中，所述根据流程轨迹生成对应所述待预测场景的事件流处理模型，包括：
从所述流程轨迹中分解出活动样本，其中，所述活动样本为活动对，所述活动对包括所述流程轨迹上相邻的两个所述事件；
根据所述活动样本的集合生成所述事件流处理模型。
2.根据权利要求1所述的事件流处理方法，其特征在于，所述从所述流程轨迹中分解出活动样本，包括：
截取所述流程轨迹中的部分轨迹；
从所截取的部分轨迹中分解出所述活动样本。
3.根据权利要求2所述的事件流处理方法，其特征在于，所述根据流程轨迹生成对应所述待预测场景的事件流处理模型之后，还包括：
更新所述事件流处理模型；
所述利用事件流处理模型进行网络监控，具体为：利用更新后的事件流处理模型进行网络监控；
其中，在更新所述事件流处理模型时，所述截取所述流程轨迹中的部分轨迹，具体为：利用预设的滑动窗截取所述流程轨迹中的部分轨迹；
所述活动样本的集合包括从所截取的部分轨迹中分解出的活动样本。
4.根据权利要求3所述的事件流处理方法，其特征在于，所述待预测场景有多个，且分别预设有重要性；
在所述从流程轨迹中分解出活动样本之后，以及所述根据活动样本的集合生成所述事件流处理模型之前，还包括：保存历史滑动窗中重要性超过门限的待预测场景的流程轨迹中提取的活动样本；
所述活动样本的集合还包括：所保存的历史滑动窗中重要性超过预设门限的待预测场景的流程轨迹中提取的活动样本。
5.根据权利要求3所述的事件流处理方法，其特征在于，所述滑动窗的窗长和移动速度的设置规则包括：事件发生的时间和/或单位时间内发生事件的数量。
6.根据权利要求1至5中任意一项所述的事件流处理方法，其特征在于，所述待预测场景设置有分类；
其中，若所述待预测场景属于预警分类，则所述事件流处理模型包括场景引发概率模型；
若所述待预测场景属于性能提升分类，则所述事件流处理模型包括场景引发时长模型。
7.一种服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的事件流处理方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一所述的事件流处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811231016.8A CN111082956B (zh) | 2018-10-22 | 2018-10-22 | 一种事件流处理方法、电子设备和可读存储介质 |
| PCT/CN2019/110021 WO2020083023A1 (zh) | 2018-10-22 | 2019-10-08 | 一种事件流处理方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811231016.8A CN111082956B (zh) | 2018-10-22 | 2018-10-22 | 一种事件流处理方法、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111082956A CN111082956A (zh) | 2020-04-28 |
| CN111082956B true CN111082956B (zh) | 2022-06-07 |
Family
ID=70308288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811231016.8A Active CN111082956B (zh) | 2018-10-22 | 2018-10-22 | 一种事件流处理方法、电子设备和可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111082956B (zh) |
| WO (1) | WO2020083023A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114039758B (zh) * | 2021-11-02 | 2024-06-21 | 中邮科通信技术股份有限公司 | 一种基于事件检测模式的网络安全威胁识别方法 |
| CN114816926B (zh) * | 2022-05-05 | 2024-07-23 | 华侨大学 | 流程监控方法和预测点筛选方法、装置、设备和存储介质 |
| CN116436772B (zh) * | 2023-06-08 | 2023-08-11 | 上海观安信息技术股份有限公司 | 实时告警方法和装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104133857A (zh) * | 2014-07-14 | 2014-11-05 | 安徽理工大学 | 一种基于配置约束的业务流程模型挖掘的新方法 |
| CN106503872A (zh) * | 2016-11-29 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种基于基础业务活动集的业务流程系统构建方法 |
| CN107147639A (zh) * | 2017-05-08 | 2017-09-08 | 国家电网公司 | 一种基于复杂事件处理的实时安全预警方法 |
| CN108063676A (zh) * | 2016-11-08 | 2018-05-22 | 中国移动通信集团山西有限公司 | 通信网络故障预警方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8689336B2 (en) * | 2010-09-27 | 2014-04-01 | Bank Of America Corporation | Tiered exposure model for event correlation |
| US8776241B2 (en) * | 2011-08-29 | 2014-07-08 | Kaspersky Lab Zao | Automatic analysis of security related incidents in computer networks |
| CN106130762A (zh) * | 2016-06-23 | 2016-11-16 | 昆山九华电子设备厂 | 一种基于有穷自动机的网络训练综合分析方法 |
-
2018
- 2018-10-22 CN CN201811231016.8A patent/CN111082956B/zh active Active
-
2019
- 2019-10-08 WO PCT/CN2019/110021 patent/WO2020083023A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104133857A (zh) * | 2014-07-14 | 2014-11-05 | 安徽理工大学 | 一种基于配置约束的业务流程模型挖掘的新方法 |
| CN108063676A (zh) * | 2016-11-08 | 2018-05-22 | 中国移动通信集团山西有限公司 | 通信网络故障预警方法及装置 |
| CN106503872A (zh) * | 2016-11-29 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种基于基础业务活动集的业务流程系统构建方法 |
| CN107147639A (zh) * | 2017-05-08 | 2017-09-08 | 国家电网公司 | 一种基于复杂事件处理的实时安全预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智能电网监控中的分布式复杂事件处理技术研究;祖向荣;《中国博士学位论文全文数据库（电子期刊）》;20171215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111082956A (zh) | 2020-04-28 |
| WO2020083023A1 (zh) | 2020-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111082956B (zh) | 一种事件流处理方法、电子设备和可读存储介质 | |
| US20240089173A1 (en) | Multi-access edge computing based visibility network | |
| CN107204894B (zh) | 网络业务质量的监控方法及装置 | |
| US20210042578A1 (en) | Feature engineering orchestration method and apparatus | |
| CN102929773B (zh) | 信息采集方法和装置 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN114416685B (zh) | 日志处理方法、系统和存储介质 | |
| CN116723136B (zh) | 应用fcm聚类算法的网络检测数据的方法 | |
| CN112422684A (zh) | 目标消息的处理方法及装置、存储介质、电子装置 | |
| US11777786B2 (en) | Method, device and computer program product for anomaly detection and root cause analysis | |
| CN113328869A (zh) | 一种告警聚合的方法和装置 | |
| CN116069774B (zh) | 基于无线超时智能分析的数据清洗方法、装置及介质 | |
| US20140269382A1 (en) | Method for tracking and utilizing operational run time of a network element | |
| CN115686381B (zh) | 存储集群运行状态的预测方法及装置 | |
| WO2023093527A1 (zh) | 告警关联规则生成方法、装置、电子设备和存储介质 | |
| CN114900477B (zh) | 报文处理方法、服务器、电子设备及存储介质 | |
| CN116643937A (zh) | 数据日志的图像分析 | |
| CN107526808B (zh) | 实时数据处理方法及装置 | |
| CN107566187B (zh) | 一种sla违例监测方法、装置和系统 | |
| CN101964993A (zh) | 一种实现用户预警的方法及系统 | |
| CN114221874B (zh) | 流量分析及调度方法、装置、计算机设备及可读存储介质 | |
| CN118488477B (zh) | 一种基于libpcap的5G网络XDR多维数据采集与治理方法 | |
| CN113159145B (zh) | 一种特征工程编排方法及装置 | |
| CN107547236B (zh) | 告警处理能力模型建立、告警信息处理的方法和装置 | |
| CN116719850A (zh) | 流式数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |