CN116578911A - 数据处理方法、装置、电子设备及计算机存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116578911A CN116578911A CN202310856219.0A CN202310856219A CN116578911A CN 116578911 A CN116578911 A CN 116578911A CN 202310856219 A CN202310856219 A CN 202310856219A CN 116578911 A CN116578911 A CN 116578911A
- Authority
- CN
- China
- Prior art keywords
- determining
- events
- abnormal
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 145
- 230000002159 abnormal effect Effects 0.000 claims abstract description 100
- 230000005856 abnormality Effects 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质，涉及网络通信领域。该方法包括：获取预设时间段的多个区域的网络指标数值，对网络指标数值进行异常检测，确定网络指标数值中的异常指标值；若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，再根据两个事件同时发生的次数，确定所述两个事件的相关度，从而生成事件知识图谱；事件知识图谱用于确定异常指标值的关联事件。本申请提供的数据处理方法，通过确定异常指标值并编译成事件，根据任意两个事件之间的相关度生成事件知识图谱，从而快速获取异常的关联事件，确定异常发生的原因，能够有效提高工作效率。
Description
技术领域
本申请涉及网络通信领域，具体而言，本申请涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术
随着无线网络的使用越来越广泛，无线网络事件的处理出现了一些需要解决的问题，无线网络事件就是无线网络中出现的异常情况或者故障，这些事件可能导致无法正常连接到无线网络或无法顺畅地进行网络访问、视频流媒体播放等各种在线活动，给用户带来负面影响。在无线网络中，这些事件可能会发生在各个环节，包括终端设备、路由器、无线中继器等，需要使用一些故障定位方法进行排查和解决。
当无线网络发生异常时，在现有技术中确定异常发生原因的方法是逐一排查无线网络中的各个环节，包括设备或系统，逐步排除，从而确定发生异常或者故障的原因，这样耗费时间较长，效率较低。
发明内容
本申请实施例旨在解决确定异常的影响事件和发生原因的耗费时间较长，效率较低的问题。所述技术方案如下：
第一方面，本申请提供了一种数据处理方法，包括：
获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值；
若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；
针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度；
根据每两个事件之间的相关度，生成事件知识图谱；所述事件知识图谱用于确定所述异常指标值的关联事件。
在第一方面的可选实施例中，所述获取预设时间段的多个区域的网络指标数值，包括如下至少一种：
获取预设时间段的多个区域的初始网络数据，若任一区域的初始网络数据中的缺失数据大于或等于预设比率，则将所述初始网络数据作为所述网络指标数值；
确定预设时间段的各个区域的用户数量，若任一区域的用户数量小于预设阈值且所述区域的数据小于第一阈值或大于第二阈值，则将所述区域的数据作为网络指标数值；其中，所述第二阈值大于所述第一阈值。
在第一方面的可选实施例中，所述对所述网络指标数值进行异常检测，确定所述网络指标数值中的多个异常指标值，包括：
确定所述预设时间段内网络指标数值的变化趋势类型，从多个异常检测模型中确定与所述变化趋势类型相匹配的目标检测模型；其中，所述多个异常检测模型是基于历史数据以及历史数据对应的历史异常指标训练得到的；
根据所述目标检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果；
根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值。
在第一方面的可选实施例中，所述根据所述异常检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果，包括：
根据所述历史数据以及历史数据对应的历史异常指标，确定所述网络指标数值的第一异常阈值和第二异常阈值；其中，所述第一异常阈值小于所述第二异常阈值；
若所述网络指标数值小于所述第一异常阈值或大于所述第二异常阈值，则将所述网络指标数值根据时间分为多个类，确定每一类的中心数据；
针对每一类对应的数据中心，基于与所述中心数据之间差异大于或等于预设差异阈值的异常数据，获取第一异常检测结果。
在第一方面的可选实施例中，所述方法还包括：
确定预设的业务门限上限和业务门限下限；
若所述网络指标数值小于所述业务门限下限或大于所述业务门限上限，则将所述网络指标数值作为异常数据，基于所述异常数据确定第二异常检测结果；
所述根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值，包括：
根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值。
在第一方面的可选实施例中，所述根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值，包括：
若所述第一异常检测结果与所述第二异常检测结果不相同，确定与所述网络指标数值对应的检测方式；
从所述第一异常检测结果与所述第二异常检测结果中确定出与所述检测方式对应的目标异常检测结果；
基于所述目标异常检测结果确定所述网络指标数值中的多个异常指标值。
在第一方面的可选实施例中，所述确定任意两个事件同时发生的次数，包括：
确定所述两个事件发生时所在的区域；
若所述两个事件同时发生在同一个区域，则确定同区域同时发生的次数；
若所述两个事件同时发生在两个相邻区域，则根据两个事件同时发生的次数和所述两个相邻区域的预设权重确定不同区域同时发生的次数；
将所述同区域同时发生的次数与所述不同区域同时发生的次数合并，确定所述两个事件同时发生的次数。
第二方面，提供了一种数据处理装置，该装置包括：
获取模块，用于获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值；
计数模块，用于若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；
关系模块，用于针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度；
生成模块，用于根据每两个事件之间的相关度，生成事件知识图谱；所述事件知识图谱用于确定所述异常指标值的关联事件。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现本申请第一方面中任一项所述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请第一方面中任一项所示的数据处理方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请提供的数据处理方法，通过对预设时间段的多个区域的网络指标数值进行异常检测，确定异常指标值并将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，并确定所述两个事件的相关度，从而生成事件知识图谱，使用上述方法生成事件知识图谱，能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。
此外，对于网络指标数值进行多次不同的异常检测，确定异常指标并将其转换成为事件，根据任意两个事件同时发生次数确定各个事件之间的关系，从而生成事件知识图谱，使得生成的事件知识图谱更加准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种数据处理方法的应用场景示意图；
图2为本申请实施例提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的一种数据处理方法的示例的流程示意图；
图4为本申请实施例提供的一种数据处理装置的结构示意图；
图5为本申请实施例提供的一种数据处理方法适用的电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式 “一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作和组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或 “耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为了更好的说明和理解本申请实施例提供的方案，首先对本申请实施例中所涉及的一些相关的技术用语进行介绍：
网络指标：是用来衡量和评估网络性能、效果和质量的数值。在评估网络性能或进行故障排查时，通过监测和分析这些指标的数值变化，可以得到关于网络质量和性能的重要信息。常见的网络指标包括：带宽，时延，丢包率，抖动，信号强度和利用率等。
事件知识图谱：是一种用于表示和组织事件信息的图谱结构。在事件知识图谱中，事件被视为一个核心实体，与其他实体和关系相互连接。实体可以是人物、地点、时间、组织等与事件相关的元素，而关系则表示这些元素之间的联系或属性。通过构建事件知识图谱，可以深入挖掘和理解事件背后的关联性、发展过程和影响因素等。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
现有技术中，当无线网络发生异常时，在现有技术中确定异常发生原因的方法是逐一排查无线网络中的各个环节，包括设备或系统，逐步排除，从而确定发生异常或者故障的原因，这样耗费时间较长，效率较低。
针对相关技术中所存在的至少一个技术问题或需要改善的地方，本申请提出一种数据处理方法、装置、电子设备及计算机存储介质，该方案提供的数据处理方法，通过对预设时间段的多个区域的网络指标数值进行异常检测，确定异常指标值并将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，并确定所述两个事件的相关度，从而生成事件知识图谱，使用上述方法生成事件知识图谱，能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。
此外，对于网络指标数值进行多次不同的异常检测，确定异常指标并将其转换成为事件，根据任意两个事件同时发生次数确定各个事件之间的关系，从而生成事件知识图谱，使得生成的事件知识图谱更加准确。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1为本申请实施例提供的数据处理方法的应用场景示意图，其中，应用环境可以包括一个可以使用上述数据处理方法的终端101，终端101上可以安装有使用上述数据处理方法的应用程序。
具体的，终端101先获取预设时间段的多个区域的网络指标数值，对网络指标数值进行异常检测，确定网络指标数值中的异常指标值；若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；针对任意两个事件，根据两个事件同时发生的次数，确定两个事件的相关度；根据每两个事件之间的相关度，生成事件知识图谱；事件知识图谱用于确定异常指标值的关联事件。
上述应用场景中，在终端101中，使用上述的数据处理方法，获取多个区域的网络指标数值进行异常检测并转换成事件，从而确定任意两个事件之间的关系，生成事件知识图谱能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。上述的应用场景只是一个示例，并不对本申请数据处理方法的应用场景进行限制。
本技术领域技术人员可以理解，终端可以是智能手机（如Android手机、iOS手机等）、平板电脑、笔记本电脑、数字广播接收器、MID（Mobile Internet Devices，移动互联网设备）、PDA（个人数字助理）、台式计算机、智能家电、车载终端（例如车载导航终端、车载电脑等）、智能音箱、智能手表等，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。
服务器可以包括安装有能够处理数据库操作的服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。具体也可基于实际应用场景需求确定，在此不作限定。
在一些可能的实施方式中，以执行主体为能够应用上述数据处理方法的终端为例，本申请实施例提供了一种数据处理方法，如图2所示，可以包括如下步骤：
S201，获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值。
其中，网络指标数值可以包括网优操作类数值、环境变化类数值和网络状态变化类数值等等。
其中，预设时间段可以包括一个月、三个月、五个月等等，具体的时间段可以为预设的时间段或通过获取用户输入的时间段确定。
具体的，在获取预设时间段的多个区域的网络指标数值时，先获取的是原始的数据，对原始数据进行一定的预处理，获取预处理后的网络指标数值，从而进行后续的异常检测步骤。
在具体实施过程中，网络指标数值可以被分成几种类型，包括有异常类型的数值、故障的数值和正常的数值，使得根据不同类型对网络指标数值进行异常检测；例如，对于有异常类型的数值，获取该数值的异常类型，该数值即为异常指标值；对于故障的数值，该数值为异常指标值；针对正常的数值，需要使用上述的数据处理方法中的异常检测方法进行异常检测，确定真正异常的数值即为异常指标值。
S202，若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数。
其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔。
在具体实施过程中，对于每一异常指标值，一旦发现异常，将其转化为一个事件，该事件可以包括事件的唯一标识符、时间戳、描述异常情况的信息和其他相关属性。确定至少一个异常指标值后，将每一异常指标值编译为事件，多个异常指标值转换为多个事件，再判断任意两个事件同时发生的次数。
在具体实施过程中，在将异常指标值编译成事件的时候，对于事件的命名方式可以为：超过预设异常指标上限的编译为指标名称+上升，低于预设异常指标下限的编译为指标名称+下降。
S203，针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度。
具体的，任意两个事件可以包括相同区域事件和不同区域事件，在确定两个事件同时发生的次数时，可以先确定两个事件在同一个区域中发生的次数，再确定两个事件在不同区域同时发生的次数，将同区域同时发生的次数与不同区域同时发生的次数进行合并，确定两个事件同时发生的次数。
在具体实施过程中，确定两个事件在同一个区域中发生的次数的步骤可以包括将多个区域内两个事件同时发生的次数相加。确定两个事件在不同区域同时发生的次数，例如：事件A发生在区域1，事件B同时发生在区域3，确定同时发生的次数，并确定区域3的预设权重，根据事件B与事件A同时发生的次数和对应的权重，确定事件AB在区域1、3同时发生的次数。
具体的，事件的相关度可以包括事件在同一个区域内同时发生的相关度和事件在相邻区域同时发生的相关度。
事件在同一个区域内同时发生的相关度可以由如下公式计算：
其中，为两个事件在同一个区域内的相关度，/>为一个区域内两个事件同时发生的次数，S为两个事件同时发生的总次数。
事件在相邻区域同时发生的相关度可以由如下公式计算：
其中，为两个事件在相邻区域的相关度，/>为相邻区域两个事件同时发生的次数，S为两个事件同时发生的总次数。
S204，根据每两个事件之间的相关度，生成事件知识图谱。
其中，所述事件知识图谱用于确定所述异常指标值的关联事件。
在具体实施过程中，根据每两个事件之间的相关度，生成事件知识图谱的步骤可以包括：将事件和事件之间的相关度输入图像数据库，生成事件知识图谱。
具体的，在生成事件知识图谱之后，可以快速确定各个事件之间的关系，能够确定异常指标值的关联事件，从而根据关联事件确定影响异常指标值的因素，使得工作人员能够快速确定因素对当前的网络进行优化，提高用户体验。
在一些可能的实施方式中，上述S201中获取预设时间段的多个区域的网络指标数值，包括如下至少一种：
（1）获取预设时间段的多个区域的初始网络数据，若任一区域的初始网络数据中的缺失数据大于或等于预设比率，则将所述初始网络数据作为所述网络指标数值；
（2）确定预设时间段的各个区域的用户数量，若任一区域的用户数量小于预设阈值且所述区域的数据小于第一阈值或大于第二阈值，则将所述区域的数据作为网络指标数值。
其中，所述第二阈值大于所述第一阈值。
具体的，获取预设时间段的多个区域的初始网络数据后，若任一区域的初始网络数据中的缺失数据大于或等于预设比率，则认为该区域是存在异常的，将该区域的初始网络数据作为网络指标数值进行后续的异常检测步骤。
具体的，确定预设时间段的各个区域的用户数量，若任一区域的用户数量小于预设阈值且区域的数据小于第一阈值或大于第二阈值，则认为该区域的网络服务是不符合用户需求的，该区域存在异常，将该区域的数据作为网络指标数值。
在具体实施过程中，上述两种对区域中的数据进行处理的方法可以各自单独使用，也可以两个都使用。
在一些可能的实施方式中，上述步骤S201中对所述网络指标数值进行异常检测，确定所述网络指标数值中的多个异常指标值，包括：
（1）确定所述预设时间段内网络指标数值的变化趋势类型，从多个异常检测模型中确定与所述变化趋势类型相匹配的目标检测模型；
（2）根据所述目标检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果；
（3）根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值。
其中，所述多个异常检测模型是基于历史数据以及历史数据对应的历史异常指标训练得到的。训练异常检测模型的方法可以包括：n-sigma准则（N倍标准差准则）、指数移动平均（Exponential Moving Average，EMA或EWMA）、BOLL（布林带指标算法）和AdaptBOLL（自适应布林线算法）等。
其中，变化趋势类型可以包括：周期型变化、阶梯型变化和渐进型变化等。不同的变化趋势类型对应不同的异常检测模型。
具体的，根据目标检测模型，对所述网络指标数值进行异常检测的步骤可以包括：将网络指标数值输入模型，获取模型输出的异常结果，确定异常指标值。
在具体实施过程中，当不存在与当前网络指标数值的变化趋势类型相匹配的检测模型，则根据预设的异常检测方法进行检测。预设的异常检测方法可以包括：确定预设的业务门限上限和业务门限下限，根据业务门限上限和业务门限下限确定第二异常检测结果，基于第二异常检测结果，确定异常指标值；即只使用业务门限的上限和下限对于网络指标数值进行异常检测，获取异常检测结果，从而确定异常指标值。
在一些可能的实施方式中，上述数据处理方法的步骤中根据所述异常检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果，包括：
（1）根据所述历史数据以及历史数据对应的历史异常指标，确定所述网络指标数值的第一异常阈值和第二异常阈值；其中，所述第一异常阈值小于所述第二异常阈值；
（2）若所述网络指标数值小于所述第一异常阈值或大于所述第二异常阈值，则将所述网络指标数值根据时间分为多个类，确定每一类的中心数据；
（3）针对每一类对应的数据中心，基于与所述中心数据之间差异大于或等于预设差异阈值的异常数据，获取第一异常检测结果。
具体的，获取第一异常阈值和第二异常阈值，若网络指标数值小于第一异常阈值或大于第二异常阈值，则认为所述网络指标数值为异常数值；之后再将所述网络指标数值根据时间分为多个类进行第二次的确定，对异常数值进行复核，从而获取第一异常结果。
具体的，若网络指标数值小于第一异常阈值或大于第二异常阈值，则将网络指标数值根据时间分为多个类，例如，网络指标数值的预设时间段为四个星期，每个星期三的网络指标数值为一个类，每个星期五的网络指标数值为一个类。
在一些可能的实施方式中，上述方法还包括：
（1）确定预设的业务门限上限和业务门限下限；
（2）若所述网络指标数值小于所述业务门限下限或大于所述业务门限上限，则将所述网络指标数值作为异常数据，基于所述异常数据确定第二异常检测结果；
所述根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值，包括：
（3）根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值。
其中，业务门限上限和业务门限下限可以是根据历史数据，以及历史数据针对业务门限上下限的异常情况确定的；也可以是预先设置的。
具体的，可以将第一异常检测结果和第二异常检测结果进行合并，合并的过程中对于相同的网络指标而有不同的异常结果的情况，根据预设的检测方式进行处理，获取合并后的异常检测结果，从而确定异常指标值。
在一些可能的实施方式中，上述数据处理方法中根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值，包括：
（1）若所述第一异常检测结果与所述第二异常检测结果不相同，确定与所述网络指标数值对应的检测方式；
（2）从所述第一异常检测结果与所述第二异常检测结果中确定出与所述检测方式对应的目标异常检测结果；
（3）基于所述目标异常检测结果确定所述网络指标数值中的多个异常指标值。
具体的，当针对同一个指标，第一异常检测结果与第二异常检测结果相同，则确定该指标对应的检测方式，根据检测方式确定目标异常检测结果。
在具体实施过程中，当第一异常检测结果与第二异常检测结果不相同，也可以通过预设的判断方法确定，方法包括：当第一异常检测结果无异常但第二异常检测结果有异常时，以第二异常检测结果为准；当第一异常检测结果有异常但第二异常检测结果无异常时，以第一异常检测结果为准；当第一异常检测结果和第二异常检测结果都有异常时，以第二异常检测结果为准。
在一些可能的实施方式中，上述步骤中确定任意两个事件同时发生的次数，包括：
（1）确定所述两个事件发生时所在的区域；
（2）若所述两个事件同时发生在同一个区域，则确定同区域同时发生的次数；
（3）若所述两个事件同时发生在两个相邻区域，则根据两个事件同时发生的次数和所述两个相邻区域的预设权重确定不同区域同时发生的次数；
（4）将所述同区域同时发生的次数与所述不同区域同时发生的次数合并，确定所述两个事件同时发生的次数。
在具体实施过程中，根据两个事件在相邻区域同时发生的次数，和所述两个相邻区域的预设权重确定不同区域同时发生的次数，例如：事件A发生在区域1，事件B同时发生在区域3，确定同时发生的次数，并确定区域3的预设权重，根据事件B与事件A同时发生的次数和对应的权重，确定事件AB在区域1、3同时发生的次数。
上述实施例中，通过对预设时间段的多个区域的网络指标数值进行异常检测，确定异常指标值并将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，并确定所述两个事件的相关度，从而生成事件知识图谱，使用上述方法生成事件知识图谱，能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。
此外，对于网络指标数值进行多次不同的异常检测，确定异常指标并将其转换成为事件，根据任意两个事件同时发生次数确定各个事件之间的关系，从而生成事件知识图谱，使得生成的事件知识图谱更加准确。
为更清楚地理解本申请实施例描述的数据处理方法，以下将结合示例进行进一步详细阐述。
在一个示例中，本申请的数据处理方法，如图3所示，可以包括：
获取预设时间段的多个区域的网络指标数值（即图中所示的原始数据），可以包括如下至少一种方法（即图中所示的数据预处理）：获取预设时间段的多个区域的初始网络数据，若任一区域的初始网络数据中的缺失数据大于或等于预设比率，则将初始网络数据作为网络指标数值；确定预设时间段的各个区域的用户数量，若任一区域的用户数量小于预设阈值且区域的数据小于第一阈值或大于第二阈值，则将区域的数据作为网络指标数值；其中，第二阈值大于第一阈值。
对网络指标数值进行异常检测，确定网络指标数值中的异常指标值。首先，确定预设时间段内网络指标数值的变化趋势类型，从多个异常检测模型中确定与变化趋势类型相匹配的目标检测模型；根据目标检测模型，对网络指标数值进行异常检测，获取第一异常检测结果（即图中所示的时序异常检测），根据第一异常检测结果确定网络指标数值中的多个异常指标值。其次，确定预设的业务门限上限和业务门限下限，若网络指标数值小于业务门限下限或大于业务门限上限，则将网络指标数值作为异常数据（即图中所示的业务检测），基于异常数据确定第二异常检测结果，根据第一异常检测结果和第二异常检测结果，确定网络指标数值中的多个异常指标值（即图中所示的结果合并）。
若存在至少一个异常指标值，将每一异常指标值分别编译成事件（即图中所示的异常事件生成），确定任意两个事件同时发生的次数，根据次数，确定两个事件的相关度（即图中所示的事件相关度统计）；根据每两个事件之间的相关度，生成事件知识图谱。
上述数据处理方法，通过对预设时间段的多个区域的网络指标数值进行异常检测，确定异常指标值并将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，并确定两个事件的相关度，从而生成事件知识图谱，使用上述方法生成事件知识图谱，能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。
此外，对于网络指标数值进行多次不同的异常检测，确定异常指标并将其转换成为事件，根据任意两个事件同时发生次数确定各个事件之间的关系，从而生成事件知识图谱，使得生成的事件知识图谱更加准确。
本申请实施例提供了一种数据处理装置，如图4所示，该装置40可以包括：获取模块401、计数模块402、关系模块403以及生成模块404，其中，
获取模块401，用于获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值；
计数模块402，用于若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；
关系模块403，用于针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度；
生成模块404，用于根据每两个事件之间的相关度，生成事件知识图谱；所述事件知识图谱用于确定所述异常指标值的关联事件。
本申请提供的数据处理装置，通过对预设时间段的多个区域的网络指标数值进行异常检测，确定异常指标值并将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数，并确定所述两个事件的相关度，从而生成事件知识图谱，使用上述方法生成事件知识图谱，能够快速获取异常的关联事件，确定异常发生的原因，提高工作效率。
此外，对于网络指标数值进行多次不同的异常检测，确定异常指标并将其转换成为事件，根据任意两个事件同时发生次数确定各个事件之间的关系，从而生成事件知识图谱，使得生成的事件知识图谱更加准确。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现数据处理方法的步骤，与相关技术相比可实现：对大量的网络指标数值进行异常检测并将异常指标值转换为事件，再获取各个事件之间的关系生成事件知识图谱，通过生成的事件知识图谱确定异常的关联事件，从而快速确定异常的发生原因，效率较高。
在一个可选实施例中提供了一种电子设备，如图5所示，图5所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004，收发器5004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。
处理器5001可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器5003可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器5003用于存储执行本申请实施例的计算机程序，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包括但不限于：能应用上述数据处理方法的终端和服务器。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值；
若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；
针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度；
根据每两个事件之间的相关度，生成事件知识图谱；所述事件知识图谱用于确定所述异常指标值的关联事件。
2.根据权利要求1所述的数据处理方法，其特征在于，所述获取预设时间段的多个区域的网络指标数值，包括如下至少一种：
获取预设时间段的多个区域的初始网络数据，若任一区域的初始网络数据中的缺失数据大于或等于预设比率，则将所述初始网络数据作为所述网络指标数值；
确定预设时间段的各个区域的用户数量，若任一区域的用户数量小于预设阈值且所述区域的数据小于第一阈值或大于第二阈值，则将所述区域的数据作为网络指标数值；其中，所述第二阈值大于所述第一阈值。
3.根据权利要求1所述的数据处理方法，其特征在于，所述对所述网络指标数值进行异常检测，确定所述网络指标数值中的多个异常指标值，包括：
确定所述预设时间段内网络指标数值的变化趋势类型，从多个异常检测模型中确定与所述变化趋势类型相匹配的目标检测模型；其中，所述多个异常检测模型是基于历史数据以及历史数据对应的历史异常指标训练得到的；
根据所述目标检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果；
根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值。
4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述异常检测模型，对所述网络指标数值进行异常检测，获取第一异常检测结果，包括：
根据所述历史数据以及历史数据对应的历史异常指标，确定所述网络指标数值的第一异常阈值和第二异常阈值；其中，所述第一异常阈值小于所述第二异常阈值；
若所述网络指标数值小于所述第一异常阈值或大于所述第二异常阈值，则将所述网络指标数值根据时间分为多个类，确定每一类的中心数据；
针对每一类对应的数据中心，基于与所述中心数据之间差异大于或等于预设差异阈值的异常数据，获取第一异常检测结果。
5.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：
确定预设的业务门限上限和业务门限下限；
若所述网络指标数值小于所述业务门限下限或大于所述业务门限上限，则将所述网络指标数值作为异常数据，基于所述异常数据确定第二异常检测结果；
所述根据所述第一异常检测结果确定所述网络指标数值中的多个异常指标值，包括：
根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值。
6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述第一异常检测结果和所述第二异常检测结果，确定所述网络指标数值中的多个异常指标值，包括：
若所述第一异常检测结果与所述第二异常检测结果不相同，确定与所述网络指标数值对应的检测方式；
从所述第一异常检测结果与所述第二异常检测结果中确定出与所述检测方式对应的目标异常检测结果；
基于所述目标异常检测结果确定所述网络指标数值中的多个异常指标值。
7.根据权利要求1所述的数据处理方法，其特征在于，所述确定任意两个事件同时发生的次数，包括：
确定所述两个事件发生时所在的区域；
若所述两个事件同时发生在同一个区域，则确定同区域同时发生的次数；
若所述两个事件同时发生在两个相邻区域，则根据两个事件同时发生的次数和所述两个相邻区域的预设权重确定不同区域同时发生的次数；
将所述同区域同时发生的次数与所述不同区域同时发生的次数合并，确定所述两个事件同时发生的次数。
8.一种数据处理装置，其特征在于，包括：
获取模块，用于获取预设时间段的多个区域的网络指标数值，对所述网络指标数值进行异常检测，确定所述网络指标数值中的异常指标值；
计数模块，用于若存在至少一个异常指标值，将每一异常指标值分别编译成事件，确定任意两个事件同时发生的次数；其中，所述同时发生为任意两个事件的发生时刻之间的时间距离小于或等于预设时间间隔；
关系模块，用于针对任意两个事件，根据所述两个事件同时发生的次数，确定所述两个事件的相关度；
生成模块，用于根据每两个事件之间的相关度，生成事件知识图谱；所述事件知识图谱用于确定所述异常指标值的关联事件。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856219.0A CN116578911A (zh) | 2023-07-13 | 2023-07-13 | 数据处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856219.0A CN116578911A (zh) | 2023-07-13 | 2023-07-13 | 数据处理方法、装置、电子设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116578911A true CN116578911A (zh) | 2023-08-11 |
Family
ID=87545685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310856219.0A Pending CN116578911A (zh) | 2023-07-13 | 2023-07-13 | 数据处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578911A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117560706A (zh) * | 2024-01-12 | 2024-02-13 | 亚信科技（中国）有限公司 | 根因分析方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244262A1 (zh) * | 2019-06-05 | 2020-12-10 | 厦门邑通软件科技有限公司 | 一种基于事件图谱技术的设备故障智能监控方法 |
| CN112152833A (zh) * | 2019-06-29 | 2020-12-29 | 北京金山云网络技术有限公司 | 一种网络异常报警方法、装置及电子设备 |
| WO2021008028A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 网络攻击源定位及防护方法、电子设备及计算机存储介质 |
| WO2023016380A1 (zh) * | 2021-08-11 | 2023-02-16 | 中兴通讯股份有限公司 | 小区网络异常检测方法、装置及计算机可读存储介质 |
| CN115955355A (zh) * | 2022-12-30 | 2023-04-11 | 绿盟科技集团股份有限公司 | 一种攻击事件知识图谱的输出方法及装置 |
-
2023
- 2023-07-13 CN CN202310856219.0A patent/CN116578911A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244262A1 (zh) * | 2019-06-05 | 2020-12-10 | 厦门邑通软件科技有限公司 | 一种基于事件图谱技术的设备故障智能监控方法 |
| CN112152833A (zh) * | 2019-06-29 | 2020-12-29 | 北京金山云网络技术有限公司 | 一种网络异常报警方法、装置及电子设备 |
| WO2021008028A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 网络攻击源定位及防护方法、电子设备及计算机存储介质 |
| WO2023016380A1 (zh) * | 2021-08-11 | 2023-02-16 | 中兴通讯股份有限公司 | 小区网络异常检测方法、装置及计算机可读存储介质 |
| CN115955355A (zh) * | 2022-12-30 | 2023-04-11 | 绿盟科技集团股份有限公司 | 一种攻击事件知识图谱的输出方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| HONGWEI YANG 等: "Application Analysis of Information Technology in Cost Management of Electric Power Engineering", 《CSIA 2021: CYBER SECURITY INTELLIGENCE AND ANALYTICS》, pages 432 * |
| 都丽丽: "基于深度学习的网络安全事件知识图谱构建研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 8, pages 138 - 860 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117560706A (zh) * | 2024-01-12 | 2024-02-13 | 亚信科技（中国）有限公司 | 根因分析方法、装置、电子设备及存储介质 |
| CN117560706B (zh) * | 2024-01-12 | 2024-03-22 | 亚信科技（中国）有限公司 | 根因分析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10210189B2 (en) | Root cause analysis of performance problems | |
| US9043317B2 (en) | System and method for event-driven prioritization | |
| CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
| CN109309596B (zh) | 一种压力测试方法、装置及服务器 | |
| US20180285371A1 (en) | Method and apparatus for automatically discovering gas station poi, storage medium and device | |
| US20200042424A1 (en) | Method, apparatus and system for processing log data | |
| CN116578911A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| CN113487084A (zh) | 一种设备使用寿命的预测方法、装置、计算机设备及计算机可读存储介质 | |
| US11153193B2 (en) | Method of and system for testing a computer network | |
| CN114817389A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN113867966A (zh) | 一种混合云模式的云资源调度方法 | |
| US20200007431A1 (en) | Reliability evaluating method for multi-state flow network and system thereof | |
| CN106648722A (zh) | 基于大数据的Flume接收端数据处理方法和装置 | |
| US8677003B1 (en) | Distributed processing of streaming data on an event protocol | |
| CN110138720B (zh) | 网络流量的异常分类检测方法、装置、存储介质和处理器 | |
| CN112507265A (zh) | 基于树结构进行异常侦测的方法、装置及相关产品 | |
| CN112235358A (zh) | 数据的采集方法、装置、电子设备及计算机可读存储介质 | |
| CN116910144A (zh) | 算力网络资源中心、算力服务系统以及数据处理方法 | |
| CN115993808A (zh) | 燃气蒸汽锅炉能耗诊断系统及方法 | |
| CN112800089B (zh) | 一种中间数据存储级别调整方法、存储介质及计算机设备 | |
| CN110888811B (zh) | 代码覆盖率信息处理方法、装置、电子设备及介质 | |
| CN109446020B (zh) | 云存储系统的动态评估方法以及装置 | |
| CN115484624A (zh) | 数据处理方法、架构、电子设备及存储介质 | |
| CN112508518A (zh) | 结合rpa和ai的rpa流程的生成方法以及相应的设备、可读存储介质 | |
| CN109344049A (zh) | 测试数据处理系统的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |