CN114866438A - 一种云架构下的异常隐患预测方法及系统 - Google Patents

一种云架构下的异常隐患预测方法及系统 Download PDF

Info

Publication number
CN114866438A
CN114866438A CN202210411070.0A CN202210411070A CN114866438A CN 114866438 A CN114866438 A CN 114866438A CN 202210411070 A CN202210411070 A CN 202210411070A CN 114866438 A CN114866438 A CN 114866438A
Authority
CN
China
Prior art keywords
time
space
abnormal
cloud
indexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210411070.0A
Other languages
English (en)
Inventor
黎嘉慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang Junze E Commerce Co ltd
Original Assignee
Hunan Bmw Culture Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Bmw Culture Communication Co ltd filed Critical Hunan Bmw Culture Communication Co ltd
Priority to CN202210411070.0A priority Critical patent/CN114866438A/zh
Publication of CN114866438A publication Critical patent/CN114866438A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种云架构下的异常隐患预测方法，应用于云架构，云架构包括中心云、多个边缘计算节点MEC、多个基站和多个移动台，方法包括：多个MEC获取多个基站的测试数据，并将测试数据发送至中心云中；中心云将测试数据进行数据清洗，并生成时空序列；中心云使用3‑sigma原则对时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；中心云建立并优化多通道的时空预测模型，将特征向量输入至时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。

Description

一种云架构下的异常隐患预测方法及系统
技术领域
本发明属于云计算领域，具体地，涉及一种云架构下的异常隐患预测的方法及系统。
背景技术
目前的云架构中，边云协同的概念会使得云端和边缘计算相互配合，相得益彰。传统的边云协同技术中，多个边缘节点MEC与一个中心云进行连接及数据交互，边缘节点MEC负责移动台的数据交互和行为监测。
然而，在目前的边云协同架构下，如何正对整个架构网络进行业务能力监测及预测会是一个很重要的问题。目前，传统的基于网络设备关键性能指标(Key performanceindicator,KPI)和用户体验质量(Quality of Experience,QOE)是网络异常监测的关键指标，如何对其进行监控和预测是实现网络异常监测的核心问题。
对于目前的网络异常监测技术中，会采用时间序列等方式进行网络设备异常预测，但目前的方法预测精度低，且维护成本高。
发明内容
本发明提供了一种云架构下的异常隐患预测的方法及系统，有效解决了现有技术中异常隐患预测精度低且维护成本高的问题，有效提升了网络故障预测精度，减少维护成本。
为了实现上述目的，本发明提供了一种云架构下的异常隐患预测方法，其特征在于，应用于云架构，所述云架构包括中心云、多个边缘计算节点MEC、多个基站和多个移动台，所述方法包括：
所述多个MEC获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
所述中心云将所述测试数据进行数据清洗，并生成时空序列；
所述中心云使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；
所述中心云建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
可选地，所述中心云使用3-sigma原则对所述时空序列进行异常监测，包括：
将所述时空序列进行标准化处理，形成N*M的时空矩阵R；
逐一分解出所述时空矩阵的KPI和QOE指标；
使用3-sigma方法对异常的所述KPI和QOE指标的开始时间和结束时间进行预测，并统计在时间窗口T内出现的异常次数；
计算在所述时间窗口T内的告诉分布概率密度函数，输出高斯概率密度分布指标。
可选地，所述计算在所述时间窗口T内的高斯分布概率密度函数，输出高斯概率密度分布指标，包括：
通过公式
Figure BDA0003603719880000021
计算出参数μ和σ，其中f(x；μ,σ)为高斯分布概率密度函数，x为一维随机变量，μ和σ为高斯概率密度指标。
可选地，所述生成特征向量，包括：
将所述异常的KPI、QOE指标类型、指标参数、异常次数、持续时间和高斯概率密度分布指标进行拼接，形成所述特征向量。
可选地，所述中心云建立并优化多通道的时空预测模型，包括：
所述中心云建立多时间卷积神经网络单元与长短期记忆网络单元的多通道时空预测模型；
获取历史实际异常指标；
获取历史特征向量，将所述历史特征向量作为输入值，对所述多通道时空预测模型进行训练，输出历史预测异常指标；
基于所述历史实际异常指标和所述历史预测异常指标，计算确定损失函数；
对所述多通道时空预测模型的超参数进行迭代调整，以使所述损失函数达到最小。
可选地，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间，包括：
将所述特征向量作为所述多通道时空预测模型的输入值，通过所述多时间卷积神经网络单元对所述特征向量进行处理，得到标量输出值；
通过所述长短期记忆网络单元，对所述标量输出值进行处理，获取输出值，所述输出值包括未来N个时刻内异常指标的次数和持续时间。
可选地，所述中心云将所述测试数据进行数据清洗，包括：
所述中心云基于所述测试数据的置信度、边界框阈值以及截取时间窗口进行数据清洗。
可选地，所述多个MEC获取所述多个基站的测试数据，包括：
在所述基站端部署软探针，主动发起移动台连接测试；
所述基站在测试过程中采集并存储测试数据，并将所述测试数据发送至所述多个MEC中。
本发明实施例还提供一种云架构下的异常隐患预测系统，包括中心云、多个边缘计算节点MEC、多个基站和多个移动台，其中：
所述多个MEC用于获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
所述中心云用于将所述测试数据进行数据清洗，并生成时空序列；使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
本发明实施例还提供一种云架构下的异常隐患预测系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例的方法及系统具有下列优点：
本发明实施例中，通过3-sigma方法获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量，并采用多通道时空预测模型进行异常隐患预测，输出精度较高的异常指标次数和时间，提升了异常隐患预测的精度，且只需要中心云进行数据的处理，极大地降低了维护成本。
附图说明
图1为一个实施例中云架构下的异常隐患预测系统架构图；
图2为一个实施例中云架构下的异常隐患预测的方法流程图；
图3为一个实施例中的云架构下的异常隐患预测系统组成结构图；
图4为一个实施例中系统的硬件组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是本发明实施例中云架构的系统框图，如图1所示，该系统10包括中心云11、多个边缘计算节点MEC 12、多个基站13和多个移动台14。其中，中心云11作为管理中心，通过MEC管理的方式提供资源注册入库，将网络节点的服务资源注册到全局的应用仓库，并提供各级节点的服务管控、监测和配置。
边缘计算节点MEC12在本发明实施例中与中心云配对，在配对后，主要与中心云11进行通信，并与基站，移动台进行数据交互，最终完成异常隐患预测操作。MEC12具备一定的计算能力和存储能力，其下沉到靠近最终移动台的一侧，因此其响应速度很快。
基站BS13与MEC配对，一个MEC配对有多个基站BS13，基站分布在不同的地区，当中心云需要进行异常隐患预测时，基站接入到MEC，由MEC汇总并传输到中心云11。
移动台14可以是不同的移动终端或移动设备，具备无线输入输出能力，并具备本地的高速处理能力，其接入上述网络，以实现移动台注册。
如图2所示，本发明实施例提供一种云架构下的异常隐患预测方法，应用于图1所示的云架构，包括：
S101.所述多个MEC获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
其中，在基站端部署软探针，可定期主动发起测试，模拟移动台的连接行为，从而收集移动台的测试数据并存储。其中，可采用sparkstreaming等软件进行处理。
为了更客观的表征用户感知，需要对测试的周期、目标等做合适的调整。测试过程中涉及到的关键术语定义如下：
测试目标：应用在互联网或城域网的目标地址，不同应用的测试目标地址格式不一，包括域名、IP、URL等形式。
测试任务分组：由多个测试目标组合形成一个测试任务分组，一个任务分组可以由多种应用的多个目标组成。
测试探针：内置于家庭网关或硬件网关的用于评估用户感知的软件，以宽带账户或硬件标识作为唯一标识。
测试周期：探针的测试任务执行时间周期任务策略：对批量测试探针安排的测试任务及测试周期形成任务策略。
以用户上网为例，为了更好使测试探针更好地模拟用户上网行为，测试目标应覆盖网页、游戏、视频三种业务类型。所述三种业务类型分别关注的关键指标如下：
网页类测试目标的关键指标包括下载速率小于指定门限值、首屏时延大于指定门限值、服务器响应时延大于指定门限值，还可以扩展到DNS时延、TCP时延、白屏时延等，包括以上关键指标但不仅限于此。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
游戏类测试目标的关键指标包括平均往返时延大于指定门限值、服务器连接时延大于指定门限值、丢包率大于指定门限值，还可以扩张到抖动、时延方差等指标，包括以上关键指标但不仅限于此。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
视频类测试目标的关键指标包括下载速率小于指定门限值、停顿次数大于指定门限值、停顿时长大于指定门限值。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
S102.所述中心云将所述测试数据进行数据清洗，并生成时空序列；
由于初始给到的测试数据的数据量较大，因此MEC需要对测试数据进行清洗和筛选，以便减少其数据量，在本发明实施例中，可以通过初始数据的置信度、边界框阈值以及截取时间窗口进行初始数据的筛选。其中，一个概率样本的置信区间(Confidenceinterval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是测量值的可信程度范围。优选地，本发明实施例可以设定该置信度为95。边界框阈值可定义在测试数据中各项参数的最大值和最小值，形成一个边界框，如果低于该最小值或者超过其最大值，则没有落入其边界框范围内，该数据无效需要删除。截取时间窗口表示其按照一定的时间范围进行时间截取，在该时间范围外的数据无需保存，只分析该时间范围内的数据。
测试数据中，例如，对于关键感知指标u，按照分析的时间颗粒度，比如每个小时内所有用户的感知指标u的均值作为该设备关键指标u的数据。U个关键指标u的选取，比如首屏时延、下载速率、丢包率等感知指标，可以根据业务知识确定或者分析故障设备历史数据得到。
此外，网管性能指标v，可以按照分析的时间颗粒度，比如每小时的采集取值均值作为该设备网管性能指标v的取值。V个网管性能的选取，比如收光光功率、发光光功率、上行流量、下行流量、误码率、丢包率等，可以根据业务知识确定或者分析故障设备历史数据得到。
在测试数据进行数据清洗后，即可获得时间和空间序列数据，可以用R＝[pi,j,qi,j]表示，其中R为N行*M列矩阵。
S103.所述中心云使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；
具体地，中心云将所述时空序列进行标准化处理，形成N*M的时空矩阵R；标准化处理可见S102的描述部分。
逐一分解出所述时空矩阵的KPI和QOE指标；获取到矩阵R后，对该矩阵中的参数进行分类，确定出本次分析所需要的KPI和QOE指标，例如KPI指标包括误码率，丢包率等，QOE指标包括时延，下载速率等。
使用3-sigma方法对异常的所述KPI和QOE指标的开始时间和结束时间进行预测，并统计在时间窗口T内出现的异常次数；其中，3-sigma(3σ)准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。
3σ原则为：
数值分布在(μ-σ,μ+σ)中的概率为0.6827
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973
可以认为，参数的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％。
计算在所述时间窗口T内的告诉分布概率密度函数，输出高斯概率密度分布指标。其中，可以通过公式
Figure BDA0003603719880000081
计算出参数μ和σ，其中f(x；μ,σ)为高斯分布概率密度函数，x为一维随机变量，μ和σ为高斯概率密度指标。
可选地，在本发明实施例中，生成特征向量，具体包括：将所述异常的KPI、QOE指标类型、指标参数、异常次数、持续时间和高斯概率密度分布指标进行拼接，形成所述特征向量。
S104.所述中心云建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
其中，建立并优化多通道的时空预测模型，包括：
所述中心云建立多时间卷积神经网络单元(Multi-Time Convolutional NeuralNetwork,MCST)与长短期记忆网络单元(Long short-Term Memory,LSTM)的多通道时空预测模型(Multi-channel Spatial-Temporal framework,MCST)；MTCNN用来处理历史特征向量时空数据，LSTM用来处理历史特征向量时间数据。因此，通过MTCNN和LSTM相结合，能够获取到时间和空间上的依赖关系，从而使得优化后的模型对异常隐患预测的结果精度更高，误差更低。
获取历史实际异常指标；该实际异常指标是指过去时刻的真实发生异常的指标，获取该异常指标的类型，数据，异常次数和持续时间；
获取历史特征向量，将所述历史特征向量作为输入值，对所述多通道时空预测模型进行训练，输出历史预测异常指标；
基于所述历史实际异常指标和所述历史预测异常指标，计算确定损失函数；其中，损失函数L为：
Figure BDA0003603719880000091
Wi为第i时刻实际异常指标，Oi为第i时刻历史预测异常指标，i为1到N之间的正整数。
对所述多通道时空预测模型的超参数进行迭代调整，以使所述损失函数达到最小。
此外，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间，具体为：
将所述特征向量作为所述多通道时空预测模型的输入值，通过所述多时间卷积神经网络单元对所述特征向量进行处理，得到标量输出值；
通过所述长短期记忆网络单元，对所述标量输出值进行处理，获取输出值，所述输出值包括未来N个时刻内异常指标的次数和持续时间。
其中，训练时间卷积网络预测输入时间序列的下l个值时，假设输入序列为x0,x1,...xL，希望预测一些相应的输出y0,y1,...yl，它的值等于输入值向前移动l个单位。在进行预测的时候主要的限制是，当预测某个时间步长t的输出yt时，它只能使用前面观察到的输入x0,x1,...xt。
因此，多时空卷积网络有两个主要约束：网络的输出应该与其输入具有相同的长度，并且网络只能使用过去时间步长的信息。为了满足这些时间性原则，多时空卷积网络中使用了一个L维全卷积网络结构，即它的所有卷积层具有相同的长度，并带有零填充，以确保更高的层与之前的层相同的长度。此外，多时空卷积网络使用因果卷积，即每一层的时间步长t的输出只计算不晚于前一层时间步长t的区域。
LSTM结构包括细胞状态、遗忘门、传送门、输入门和输出门，其中，细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。从计算流程上看，它先与遗忘门的输出进行乘法运算，然后再加上输入门的输出。这种运算方式理解起来就是将上一时刻的一些信息进行压缩或更新，然后再加上本时刻的信息，通过这种方式来记住长期的信息。
遗忘门是决定从细胞状态中丢弃什么东西，它首先连接$[h_{t-1},x_t]$经过sigmoid激励函数得到一个在0-1之间的数字给每个细胞状态$C_{t-1}$里的数字，其中1表示“完全保留”；而0表示“完全舍弃”。
输入门是决定将新的信息放在细胞状态里。它首先经过一个tanh层，得到当前信息的表示；同时也经过一个Sigmoid层来计算出新的信息中那些是重要的，那些是不重要的，然后与tanh层的输出进行相乘再加入到细胞状态中。这个过程简言之就是将当前的新信息加权到细胞状态中。经过这些运算就可以得到当前时刻的细胞状态$C_t$。
输出门则是决定本时刻的输出状态。它是先将当前时刻的细胞状态$C_t$，经过一个tanh层激励，再由$[x_t,h_{t-1}]$经过一个Sigmoid层得到更新的权值，两者进行相乘得到。其结果就是当前细胞状态经过tanh激励后加权得到当前时刻的状态。
在本发明实施例中，通过卷积操作获取历史向量特征的局部特征kt，对该局部特征kt进行最大池化操作，确定标量输出值kt’。将该标量输出值作为LSTM网络的输入值，确定LSTM忘记门、输入门与输出门。具体计算方式为现有技术，此处不再累述。
本发明实施例的方法及系统具有下列优点：
本发明实施例中，通过3-sigma方法获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量，并采用多通道时空预测模型进行异常隐患预测，输出精度较高的异常指标次数和时间，提升了异常隐患预测的精度，且只需要中心云进行数据的处理，极大地降低了维护成本。
如图3所示，本发明实施例还提供一种云架构下的异常隐患预测系统，包括中心云31、多个边缘计算节点MEC 32、多个基站33和多个移动台34，其中：
所述多个MEC 32用于获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
其中，在基站端部署软探针，可定期主动发起测试，模拟移动台的连接行为，从而收集移动台的测试数据并存储。其中，可采用sparkstreaming等软件进行处理。
为了更客观的表征用户感知，需要对测试的周期、目标等做合适的调整。测试过程中涉及到的关键术语定义如下：
测试目标：应用在互联网或城域网的目标地址，不同应用的测试目标地址格式不一，包括域名、IP、URL等形式。
测试任务分组：由多个测试目标组合形成一个测试任务分组，一个任务分组可以由多种应用的多个目标组成。
测试探针：内置于家庭网关或硬件网关的用于评估用户感知的软件，以宽带账户或硬件标识作为唯一标识。
测试周期：探针的测试任务执行时间周期任务策略：对批量测试探针安排的测试任务及测试周期形成任务策略。
以用户上网为例，为了更好使测试探针更好地模拟用户上网行为，测试目标应覆盖网页、游戏、视频三种业务类型。所述三种业务类型分别关注的关键指标如下：
网页类测试目标的关键指标包括下载速率小于指定门限值、首屏时延大于指定门限值、服务器响应时延大于指定门限值，还可以扩展到DNS时延、TCP时延、白屏时延等，包括以上关键指标但不仅限于此。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
游戏类测试目标的关键指标包括平均往返时延大于指定门限值、服务器连接时延大于指定门限值、丢包率大于指定门限值，还可以扩张到抖动、时延方差等指标，包括以上关键指标但不仅限于此。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
视频类测试目标的关键指标包括下载速率小于指定门限值、停顿次数大于指定门限值、停顿时长大于指定门限值。以上门限值在实施实例中可以为根据实际情况总结出的经验值，也可以使用算法依据不同网络环境或用户业务类型分析得出。
所述中心云31用于将所述测试数据进行数据清洗，并生成时空序列；使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
由于初始给到的测试数据的数据量较大，因此MEC需要对测试数据进行清洗和筛选，以便减少其数据量，在本发明实施例中，可以通过初始数据的置信度、边界框阈值以及截取时间窗口进行初始数据的筛选。其中，一个概率样本的置信区间(Confidenceinterval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是测量值的可信程度范围。优选地，本发明实施例可以设定该置信度为95。边界框阈值可定义在测试数据中各项参数的最大值和最小值，形成一个边界框，如果低于该最小值或者超过其最大值，则没有落入其边界框范围内，该数据无效需要删除。截取时间窗口表示其按照一定的时间范围进行时间截取，在该时间范围外的数据无需保存，只分析该时间范围内的数据。
测试数据中，例如，对于关键感知指标u，按照分析的时间颗粒度，比如每个小时内所有用户的感知指标u的均值作为该设备关键指标u的数据。U个关键指标u的选取，比如首屏时延、下载速率、丢包率等感知指标，可以根据业务知识确定或者分析故障设备历史数据得到。
此外，网管性能指标v，可以按照分析的时间颗粒度，比如每小时的采集取值均值作为该设备网管性能指标v的取值。V个网管性能的选取，比如收光光功率、发光光功率、上行流量、下行流量、误码率、丢包率等，可以根据业务知识确定或者分析故障设备历史数据得到。
在测试数据进行数据清洗后，即可获得时间和空间序列数据，可以用R＝[pi,j,qi,j]表示，其中R为N行*M列矩阵。
具体地，中心云将所述时空序列进行标准化处理，形成N*M的时空矩阵R；标准化处理可见S102的描述部分。
逐一分解出所述时空矩阵的KPI和QOE指标；获取到矩阵R后，对该矩阵中的参数进行分类，确定出本次分析所需要的KPI和QOE指标，例如KPI指标包括误码率，丢包率等，QOE指标包括时延，下载速率等。
使用3-sigma方法对异常的所述KPI和QOE指标的开始时间和结束时间进行预测，并统计在时间窗口T内出现的异常次数；其中，3-sigma(3σ)准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。
3σ原则为：
数值分布在(μ-σ,μ+σ)中的概率为0.6827
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973
可以认为，参数的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％。
计算在所述时间窗口T内的告诉分布概率密度函数，输出高斯概率密度分布指标。其中，可以通过公式
Figure BDA0003603719880000141
计算出参数μ和σ，其中f(x；μ,σ)为高斯分布概率密度函数，x为一维随机变量，μ和σ为高斯概率密度指标。
可选地，在本发明实施例中，生成特征向量，具体包括：将所述异常的KPI、QOE指标类型、指标参数、异常次数、持续时间和高斯概率密度分布指标进行拼接，形成所述特征向量。
其中，建立并优化多通道的时空预测模型，包括：
所述中心云建立多时间卷积神经网络单元(Multi-Time Convolutional NeuralNetwork,MCST)与长短期记忆网络单元(Long short-Term Memory,LSTM)的多通道时空预测模型(Multi-channel Spatial-Temporal framework,MCST)；MTCNN用来处理历史特征向量时空数据，LSTM用来处理历史特征向量时间数据。因此，通过MTCNN和LSTM相结合，能够获取到时间和空间上的依赖关系，从而使得优化后的模型对异常隐患预测的结果精度更高，误差更低。
获取历史实际异常指标；该实际异常指标是指过去时刻的真实发生异常的指标，获取该异常指标的类型，数据，异常次数和持续时间；
获取历史特征向量，将所述历史特征向量作为输入值，对所述多通道时空预测模型进行训练，输出历史预测异常指标；
基于所述历史实际异常指标和所述历史预测异常指标，计算确定损失函数；其中，损失函数L为：
Figure BDA0003603719880000151
Wi为第i时刻实际异常指标，Oi为第i时刻历史预测异常指标，i为1到N之间的正整数。
对所述多通道时空预测模型的超参数进行迭代调整，以使所述损失函数达到最小。
此外，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间，具体为：
将所述特征向量作为所述多通道时空预测模型的输入值，通过所述多时间卷积神经网络单元对所述特征向量进行处理，得到标量输出值；
通过所述长短期记忆网络单元，对所述标量输出值进行处理，获取输出值，所述输出值包括未来N个时刻内异常指标的次数和持续时间。
本发明实施例还提供一种云架构下的异常隐患预测系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例还提供了一种云架构下的异常隐患预测系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。
本发明实施例还提供一种系统，如图4所示，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
在实际应用中，系统还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的系统都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种云架构下的异常隐患预测方法，其特征在于，应用于云架构，所述云架构包括中心云、多个边缘计算节点MEC、多个基站和多个移动台，所述方法包括：
所述多个MEC获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
所述中心云将所述测试数据进行数据清洗，并生成时空序列；
所述中心云使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；
所述中心云建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
2.根据权利要求1所述的方法，其特征在于，所述中心云使用3-sigma原则对所述时空序列进行异常监测，包括：
将所述时空序列进行标准化处理，形成N*M的时空矩阵R；
逐一分解出所述时空矩阵的KPI和QOE指标；
使用3-sigma方法对异常的所述KPI和QOE指标的开始时间和结束时间进行预测，并统计在时间窗口T内出现的异常次数；
计算在所述时间窗口T内的告诉分布概率密度函数，输出高斯概率密度分布指标。
3.根据权利要求2所述的方法，其特征在于，所述计算在所述时间窗口T内的高斯分布概率密度函数，输出高斯概率密度分布指标，包括：
通过公式
Figure FDA0003603719870000011
计算出参数μ和σ，其中f(x；μ,σ)为高斯分布概率密度函数，x为一维随机变量，μ和σ为高斯概率密度指标。
4.根据权利要求1所述的方法，其特征在于，所述生成特征向量，包括：
将所述异常的KPI、QOE指标类型、指标参数、异常次数、持续时间和高斯概率密度分布指标进行拼接，形成所述特征向量。
5.根据权利要求1所述的方法，其特征在于，所述中心云建立并优化多通道的时空预测模型，包括：
所述中心云建立多时间卷积神经网络单元与长短期记忆网络单元的多通道时空预测模型；
获取历史实际异常指标；
获取历史特征向量，将所述历史特征向量作为输入值，对所述多通道时空预测模型进行训练，输出历史预测异常指标；
基于所述历史实际异常指标和所述历史预测异常指标，计算确定损失函数；
对所述多通道时空预测模型的超参数进行迭代调整，以使所述损失函数达到最小。
6.根据权利要求5所述的方法，其特征在于，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间，包括：
将所述特征向量作为所述多通道时空预测模型的输入值，通过所述多时间卷积神经网络单元对所述特征向量进行处理，得到标量输出值；
通过所述长短期记忆网络单元，对所述标量输出值进行处理，获取输出值，所述输出值包括未来N个时刻内异常指标的次数和持续时间。
7.根据权利要求1所述的方法，其特征在于，所述中心云将所述测试数据进行数据清洗，包括：
所述中心云基于所述测试数据的置信度、边界框阈值以及截取时间窗口进行数据清洗。
8.根据权利要求1所述的方法，其特征在于，所述多个MEC获取所述多个基站的测试数据，包括：
在所述基站端部署软探针，主动发起移动台连接测试；
所述基站在测试过程中采集并存储测试数据，并将所述测试数据发送至所述多个MEC中。
9.一种云架构下的异常隐患预测系统，其特征在于，包括中心云、多个边缘计算节点MEC、多个基站和多个移动台，其中：
所述多个MEC用于获取所述多个基站的测试数据，并将所述测试数据发送至所述中心云中；
所述中心云用于将所述测试数据进行数据清洗，并生成时空序列；使用3-sigma原则对所述时空序列进行异常监测，获取每个时空序列发生异常的次数、持续时间以及高斯概率密度分布指标，生成特征向量；建立并优化多通道的时空预测模型，将所述特征向量输入至所述时空预测模型，预测出未来N个时刻内异常指标的次数和持续时间。
10.一种云架构下的异常隐患预测系统，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至8任一项所述的方法。
CN202210411070.0A 2022-04-19 2022-04-19 一种云架构下的异常隐患预测方法及系统 Withdrawn CN114866438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210411070.0A CN114866438A (zh) 2022-04-19 2022-04-19 一种云架构下的异常隐患预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210411070.0A CN114866438A (zh) 2022-04-19 2022-04-19 一种云架构下的异常隐患预测方法及系统

Publications (1)

Publication Number Publication Date
CN114866438A true CN114866438A (zh) 2022-08-05

Family

ID=82630919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210411070.0A Withdrawn CN114866438A (zh) 2022-04-19 2022-04-19 一种云架构下的异常隐患预测方法及系统

Country Status (1)

Country Link
CN (1) CN114866438A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116087759A (zh) * 2023-04-12 2023-05-09 广东翰唐智控有限公司 一种电路板导电路径的检验方法及电路系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344897A1 (en) * 2016-05-31 2017-11-30 The Boeing Company Monitored machine performance as a maintenance predictor
CN111669373A (zh) * 2020-05-25 2020-09-15 山东理工大学 基于时空卷积网络和拓扑感知的网络异常检测方法及系统
CN113705981A (zh) * 2021-08-03 2021-11-26 彭亮 一种基于大数据的异常监测的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344897A1 (en) * 2016-05-31 2017-11-30 The Boeing Company Monitored machine performance as a maintenance predictor
CN111669373A (zh) * 2020-05-25 2020-09-15 山东理工大学 基于时空卷积网络和拓扑感知的网络异常检测方法及系统
CN113705981A (zh) * 2021-08-03 2021-11-26 彭亮 一种基于大数据的异常监测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄闯: ""基于时序数据挖掘的异常检测系统研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116087759A (zh) * 2023-04-12 2023-05-09 广东翰唐智控有限公司 一种电路板导电路径的检验方法及电路系统
CN116087759B (zh) * 2023-04-12 2023-05-30 广东翰唐智控有限公司 一种电路板导电路径的检验方法及电路系统

Similar Documents

Publication Publication Date Title
Nikravesh et al. Mobile network traffic prediction using MLP, MLPWD, and SVM
Kondratenko et al. Multi-criteria decision making for selecting a rational IoT platform
CN109120463B (zh) 流量预测方法及装置
CN109981333B (zh) 一种应用于数据中心的运维方法和运维设备
CN114285728B (zh) 一种预测模型训练方法、流量预测方法、装置及存储介质
RU2379753C1 (ru) Способ обеспечения устойчивости сетей связи в условиях внешних деструктивных воздействий
CN112769869B (zh) 一种基于贝叶斯攻击图的sdn网络安全预测方法及对应系统
CN111198808A (zh) 预测性能指标的方法、装置、存储介质及电子设备
CN113986693A (zh) 告警响应级别确定方法、装置、电子设备及存储介质
US20230133541A1 (en) Alert correlating using sequence model with topology reinforcement systems and methods
CN113762391A (zh) 冷却系统的状态检测方法、装置、计算机设备和存储介质
CN110490132B (zh) 数据处理方法和装置
CN114866438A (zh) 一种云架构下的异常隐患预测方法及系统
CN112199252A (zh) 一种异常监控方法、装置及电子设备
CN117131457B (zh) 基于ai模型的电力大数据采集处理方法及系统
CN113079033B (zh) 一种流量控制方法、装置、电子设备及计算机可读介质
Bhorkar et al. DeepAuto: A hierarchical deep learning framework for real-time prediction in cellular networks
Dragos et al. Entropy-Based Metrics for URREF Criteria to Assess Uncertainty in Bayesian Networks for Cyber Threat Detection
CN116578465A (zh) 深度学习模型性能检测系统、方法及预测模型生成方法
US20200213203A1 (en) Dynamic network health monitoring using predictive functions
WO2023111392A1 (en) Method and system for modifying state of device using detected anomalous behavior
CN113329128B (zh) 话务数据预测方法及装置、电子设备、存储介质
CN118020081A (zh) 确定性机器学习模型的根本原因分析
CN117130873B (zh) 一种任务监控的方法和装置
CN113486968B (zh) 摄像机生命周期的监控方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221108

Address after: No. 3197, Fushou West Street, Weicheng District, Weifang, Shandong 261000

Applicant after: Weifang Junze E-commerce Co.,Ltd.

Address before: 410001 room 605 and 609, building 11, yongjingyuan, Chezhan North Road, Furong district, Changsha City, Hunan Province

Applicant before: Hunan BMW Culture Communication Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20220805

WW01 Invention patent application withdrawn after publication