CN108985446A - 用于告警的方法及装置 - Google Patents
用于告警的方法及装置 Download PDFInfo
- Publication number
- CN108985446A CN108985446A CN201810817136.XA CN201810817136A CN108985446A CN 108985446 A CN108985446 A CN 108985446A CN 201810817136 A CN201810817136 A CN 201810817136A CN 108985446 A CN108985446 A CN 108985446A
- Authority
- CN
- China
- Prior art keywords
- data
- flows
- sample
- sequence
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/149—Network analysis or design for prediction of maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Traffic Control Systems (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了用于告警的方法及装置。该方法的一具体实施方式包括:将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,上述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。该实施方式能够根据实时采集的流量数据得到准确的预测流量数据,提高了告警的准确性。
Description
技术领域
本申请实施例涉及网络技术领域,具体涉及用于告警的方法及装置。
背景技术
随着科技的发展,信息的传递变得越来越频繁。人们可以通过网络将各种智能设备进行数据连接,进而实现信息的相互传递,提高了人们工作和生活的信息化水平。
网络流量能够反映信息传递的状态。为了向用户提供稳定有效的服务,技术人员需要对信息传递时的网络流量进行有效监控。目前的流量监控大多是设置一个固定的流量阈值,超出流量阈值则进行告警,以便技术人员及时维护网络。
发明内容
本申请实施例提出了用于告警的方法及装置。
第一方面,本申请实施例提供了一种用于告警的方法,该方法包括:将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,上述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
在一些实施例中,上述流量预测模型包括卷积神经网络、残差网络和全连接层。
在一些实施例中,上述将实时采集的流量数据导入预先训练的流量预测模型,得到预测流量数据,包括:将上述实时采集的流量数据序列输入至上述卷积神经网络,得到实时采集的流量数据序列的特征向量,其中,上述卷积神经网络用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系;将实时采集的流量数据序列的特征向量输入至上述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量,其中,上述残差网络用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系;将融合特征向量输入至上述全连接层,得到上述实时采集的流量数据序列的预测流量数据,其中,上述全连接层用于表征融合特征向量与预测流量数据之间的对应关系。
在一些实施例中,上述残差网络包括深层特性提取网络和表层特性提取网络,其中,上述深层特性提取网络包括至少两个卷积层,上述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。
在一些实施例中,上述流量预测模型通过如下步骤训练得到:从历史数据中提取样本流量数据序列,得到样本流量数据序列集合,其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间间隔设定的时间;将上述样本流量数据序列集合中的样本流量数据序列作为输入,将上述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型。
在一些实施例中,上述将上述样本流量数据序列集合中的样本流量数据序列作为输入,将上述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型,包括:执行以下训练步骤:将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据;将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率;确定上述预测准确率是否大于预设准确率阈值;若大于上述预测准确率阈值,则将上述初始流量预测模型作为训练完成的流量预测模型。
在一些实施例中,上述将上述样本流量数据序列集合中的样本流量数据序列作为输入,将上述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型,还包括:响应于不大于上述预测准确率阈值,调整上述初始流量预测模型的参数,并继续执行上述训练步骤。
在一些实施例中,上述将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据,包括:对于上述样本流量数据序列集合中的样本流量数据序列,将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应上述N个样本流量数据的初始预测流量数据。
在一些实施例中,上述将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率,包括:将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据;响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,标记该初始预测流量数据正确;统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
第二方面,本申请实施例提供了一种用于告警的装置,该装置包括:预测流量数据获取单元,被配置成将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,上述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;告警单元,被配置成响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
在一些实施例中,上述流量预测模型包括卷积神经网络、残差网络和全连接层。
在一些实施例中,上述预测流量数据获取单元包括:第一特征向量获取子单元,被配置成将上述实时采集的流量数据序列输入至上述卷积神经网络,得到实时采集的流量数据序列的特征向量,其中,上述卷积神经网络用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系;第二特征向量获取子单元,被配置成将实时采集的流量数据序列的特征向量输入至上述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量,其中,上述残差网络用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系;预测流量数据获取子单元,被配置成将融合特征向量输入至上述全连接层,得到上述实时采集的流量数据序列的预测流量数据,其中,上述全连接层用于表征融合特征向量与预测流量数据之间的对应关系。
在一些实施例中,上述残差网络包括深层特性提取网络和表层特性提取网络,其中,上述深层特性提取网络包括至少两个卷积层,上述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。
在一些实施例中,上述装置包括流量预测模型训练单元,被配置成训练流量预测模型,上述流量预测模型训练单元包括:样本获取子单元,被配置成从历史数据中提取样本流量数据序列,得到样本流量数据序列集合,其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间间隔设定的时间;流量预测模型训练子单元,被配置成将上述样本流量数据序列集合中的样本流量数据序列作为输入,将上述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型。
在一些实施例中,上述流量预测模型训练子单元包括:流量预测模型训练模块,被配置成将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据;将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率;确定上述预测准确率是否大于预设准确率阈值;若大于上述预测准确率阈值,则将上述初始流量预测模型作为训练完成的流量预测模型。
在一些实施例中,上述流量预测模型训练子单元还包括:参数调整模块,响应于不大于上述预测准确率阈值,被配置成调整上述初始流量预测模型的参数,并继续执行上述训练步骤。
在一些实施例中,上述流量预测模型训练模块包括:初始预测流量数据获取子模块,对于上述样本流量数据序列集合中的样本流量数据序列,被配置成将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应上述N个样本流量数据的初始预测流量数据。
在一些实施例中,上述流量预测模型训练模块包括:样本预测流量数据设置子模块,被配置成将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据;标记子模块,响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,被配置成标记该初始预测流量数据正确;预测准确率获取子模块,被配置成统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
第三方面,本申请实施例提供了一种服务器,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述第一方面的用于告警的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述第一方面的用于告警的方法。
本申请实施例提供的用于告警的方法及装置,首先将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,当预测流量数据与时间上对应的实际流量数据的差值大于设定阈值时,发出告警信号。本申请能够根据实时采集的流量数据得到准确的预测流量数据,提高了告警的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于告警的方法的一个实施例的流程图;
图3是根据本申请的用于告警的方法的又一个实施例的流程图;
图4是根据本申请的流量预测模型训练方法的一个实施例的流程图;
图5是根据本申请的用于告警的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于告警的方法或用于告警的装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以使得服务器105对终端设备101、102、103的网络流量进行监控等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有连网应用并且支持网络数据处理的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103与网络104连接时的网络流量进行监控的服务器。服务器可以对终端设备101、102、103连接网络时的流量进行监控,并在流量异常时发出告警信号。
需要说明的是,本申请实施例所提供的用于告警的方法一般由服务器105执行,相应地,用于告警的装置一般设置于服务器105中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的用于告警的方法的一个实施例的流程200。该用于告警的方法包括以下步骤:
步骤201,将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据。
在本实施例中,用于告警的方法的执行主体(例如图1所示的服务器105)可以通过有线连接方式或者无线连接方式实时从用户利用其进行网络数据处理的终端设备101、102、103采集终端设备101、102、103的流量数据(即网络流量数据),并从流量数据中获取到流量数据序列。其中,流量数据序列可以通过间隔设定时间等方式从流量数据中提取。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
现有流量告警的方法中,通常是设定一个固定的流量阈值,超出流量阈值则进行告警。但是,由于用户使用网络的时间、用户使用的应用的网络流量等因素的不同,实际中的网络流量具有自身的规律性。在某些时间,用户消耗的网络流量很低(例如可以是晚上休息时间),某些时间,用户消耗的网络流量很高(例如可以是工作时间或下班时间)。因此,如果设定固定的流量阈值,往往出现误告警的情况。而又无法及时发现正常的、消耗的网络流量很低或消耗的网络流量很高的网络流量异常,进而出现漏告警的情况。
为此,本申请的执行主体首先获取终端设备101、102、103的实时的流量数据。之后,执行主体从流量数据中提取出流量数据序列。流量数据序列中的流量数据具有时间上的先后顺序,能够表征流量随时间的变化。例如,流量数据序列可以是:(t1,XX)、(t2,XX)、(t3,XX)、(t4,XX)、(t5,XX)···。其中,t可以是时间点,XX为在t时刻的流量数据值。之后,执行主体可以将流量数据序列导入预先训练的流量预测模型,得到对应该流量数据序列的预测流量数据。其中,流量预测模型可以用于根据实时采集的流量数据序列计算得到预测流量数据。
在本实施例中,流量预测模型可以是人工神经网络,它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。人工神经网络通常由大量的节点(或称神经元)之间相互联接构成,每个节点代表一种特定的输出函数,称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重(又叫做参数),网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。流量预测模型通常包括多个层,每个层包括多个节点。通常,同一层的节点的权重可以相同,不同层的节点的权重可以不同,故流量预测模型的多个层的参数也可以不同。这里,执行主体可以将流量数据序列从流量预测模型的输入侧输入,依次经过流量预测模型中的各层的参数的处理(例如乘积、卷积等),并从流量预测模型的输出侧输出,输出侧输出的信息即为与流量数据序列对应的预测流量数据。
在本实施例中,流量预测模型可以用于根据实时采集的流量数据序列计算得到预测流量数据。执行主体可以通过多种方式训练出可以根据实时采集的流量数据序列计算得到预测流量数据的流量预测模型。
作为一种示例,执行主体可以基于对大量的样本流量数据序列和对应样本流量数据序列的样本预测流量数据进行统计而生成存储有多个记录有样本流量数据序列与样本预测流量数据的对应关系的对应关系表,并将该对应关系表作为流量预测模型。这样,执行主体可以将实时采集的流量数据序列与该对应关系表中的多个样本流量数据序列依次进行比较,若该对应关系表中的一个样本流量数据序列与实时采集的流量数据序列相同或相似,则将该对应关系表中的该样本流量数据序列所对应的样本预测流量数据作为实时采集的流量数据序列的预测流量数据。
作为另一种示例,执行主体可以首先获取多个样本流量数据序列和多个样本流量数据序列中的每个样本流量数据序列所对应的样本预测流量数据;然后将多个样本流量数据序列中的每个样本流量数据序列作为输入,将多个样本流量数据序列中的每个样本流量数据序列所对应的样本预测流量数据作为输出,训练得到流量预测模型。这里,执行主体可以获取多个样本流量数据序列,并为本领域技术人员展示,本领域技术人员可以根据经验对多个样本流量数据序列中的每个样本流量数据序列进行计算,从而得到样本预测流量数据。执行主体训练的可以是初始流量预测模型,初始流量预测模型可以是未经训练的流量预测模型或未训练完成的流量预测模型,初始流量预测模型的各层可以设置有初始参数。参数在初始流量预测模型的训练过程中可以被不断地调整。初始流量预测模型可以是各种类型的未经训练或未训练完成的人工神经网络或者对多种未经训练或未训练完成的人工神经网络进行组合所得到的模型。例如,初始流量预测模型可以是未经训练的卷积神经网络,也可以是未经训练的残差网络,还可以是对未经训练的卷积神经网络、未经训练的残差网络和未经训练的全连接层进行组合所得到的模型。这样,执行主体可以将实时采集的流量数据序列从流量预测模型的输入侧输入,依次经过流量预测模型中的各层的参数的处理,并从流量预测模型的输出侧输出,输出侧输出的信息即为对应实时采集的流量数据序列的预测流量数据。
步骤202,响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
得到预测流量数据后,执行主体可以将预测流量数据与时间上对应的实际流量数据进行对比。当预测流量数据与时间上对应的实际流量数据之间的差值大于设定阈值时,发出告警信号。例如,实时采集的流量数据序列包括10个流量数据点,每个流量数据点对应时间点1到10。将这10个流量数据点输入至流量预测模型得到的预测流量数据可以对应时间点11。当预测流量数据与实际中的对应时间点11的流量数据之间的差值大于设定阈值时,可以认为此时的实际流量数据异常,执行主体可以发出告警信号。有上述描述可知,本申请方法根据实时采集的流量数据序列得到预测流量数据,然后再通过预测流量数据与实际流量数据进行对比来判断流量数据是否异常,进而发出告警信号。由于预测流量数据是根据实际的实时采集的流量数据得到的,因此能够真实准确的反映实际的流量数据的变化趋势,进而提高告警的准确性。
进一步参考图3,其示出了根据本申请的用于告警的方法的又一个实施例的流程300。在该实施例中,流量预测模型可以包括卷积神经网络、残差网络和全连接层,该用于告警的方法的流程300,包括以下步骤:
步骤301,将上述实时采集的流量数据序列输入至上述卷积神经网络,得到实时采集的流量数据序列的特征向量。
在本实施例中,执行主体可以将实时采集的流量数据序列输入至卷积神经网络,从而得到实时采集的流量数据序列的特征向量。其中,流量数据序列可以包含有多个与时间点对应的流量数据。实时采集的流量数据序列的特征向量可以用于表征流量数据随时间变化的特征,例如可以是单位时间内流量数据的差值等。
在本实施例中,卷积神经网络可以是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。通常,卷积神经网络的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。这里,执行主体可以将实时采集的流量数据序列从卷积神经网络的输入侧输入,依次经过卷积神经网络中的各层的参数的处理,并从卷积神经网络的输出侧输出,输出侧输出的信息即为实时采集的流量数据序列的特征向量。
在本实施例中,卷积神经网络可以用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系。执行主体可以通过多种方式训练出可以表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系的卷积神经网络。
作为一种示例,执行主体可以基于对大量流量数据序列和流量数据序列的特征向量进行统计而生成存储有多个流量数据序列与流量数据序列的特征向量的对应关系的对应关系表,并将该对应关系表作为卷积神经网络。这样,执行主体可以将实时采集的流量数据序列与该对应关系表中的多个流量数据序列依次进行比较,若该对应关系表中的一个流量数据序列与实时采集的流量数据序列相同或相似,则将该对应关系表中的该流量数据序列的特征向量作为实时采集的流量数据序列的特征向量。
作为另一种示例,执行主体可以首先获取样本流量数据序列和样本流量数据序列的特征向量;然后将样本流量数据序列作为输入,将样本流量数据序列的特征向量作为输出,训练得到能够表征流量数据序列与流量数据序列对应的特征向量之间的对应关系的卷积神经网络。这样,执行主体可以将流量数据序列从卷积神经网络的输入侧输入,依次经过卷积神经网络中的各层的参数的处理,并从卷积神经网络的输出侧输出,输出侧输出的信息即为流量数据序列的特征向量。
步骤302,将实时采集的流量数据序列的特征向量输入至上述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量。
在本实施例中,执行主体可以将实时采集的流量数据序列的特征向量输入至残差网络,从而得到融合特征向量。其中,融合特征向量可以用于表征流量数据序列的特征向量的深层特征和表层特征的融合。
在本实施例中,残差网络可以根据网络中每一层的输入生成残差函数,使得残差网络更容易优化,并使得网络层数大大加深。
在本实施例中,残差网络可以用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系。执行主体可以通过多种方式训练出可以表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系的循环神经网络。
作为一种示例,执行主体可以基于对大量流量数据序列的特征向量和融合特征向量进行统计而生成存储有多个流量数据序列的特征向量与融合特征向量的对应关系的对应关系表,并将该对应关系表作为残差网络。这样,执行主体可以计算实时采集的流量数据序列的特征向量与该对应关系表中的多个流量数据序列的特征向量之间的欧氏距离,若该对应关系表中的一个流量数据序列的特征向量与实时采集的流量数据序列的特征向量之间的欧氏距离小于预设的距离阈值,则将该对应关系表中的、与该流量数据序列的特征向量对应的融合特征向量作为实时采集的流量数据序列的特征向量的融合特征向量。
作为另一种示例,执行主体首先可以获取样本流量数据序列的特征向量和样本融合特征向量;然后将样本流量数据序列的特征向量作为输入,将样本融合特征向量作为输出,训练得到能够表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系的残差网络。这样,执行主体可以将实时采集的流量数据序列的特征向量从残差网络的输入侧输入,依次经过残差网络中的各层的参数的处理,并从残差网络的输出侧输出,输出侧输出的信息即为融合特征向量。
在本实施例的一些可选的实现方式中,上述残差网络可以包括深层特性提取网络和表层特性提取网络。
为了能够准确判断流量数据的特征,本实现方式将残差网络还可以包括深层特性提取网络和表层特性提取网络两个相对独立的网络。即,在残差网络内,深层特性提取网络和表层特性提取网络的输入都是实时采集的流量数据序列的特征向量。深层特性提取网络和表层特性提取网络分别对实时采集的流量数据序列的特征向量进行数据处理,分别得到深层特征向量和表层特征向量。其中,上述深层特性提取网络可以包括至少两个卷积层,用于提取流量数据的深层特征向量。上述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。表层特性提取网络可以只包含一个卷积层,用于提取流量数据的表层特征向量(表层特征可以是流量数据的变化趋势信息等)。残差网络还可以包括用于融合深层特征向量和表层特征向量得到融合特征向量的卷积层。融合特征向量可以通过对深层特征向量和表层特征向量求和得到,或对深层特征向量和表层特征向量分别赋予不同的权值后再求和得到,具体视实际需要而定。
步骤303,将融合特征向量输入至上述全连接层,得到上述实时采集的流量数据序列的预测流量数据。
在本实施例中,执行主体可以将融合特征向量输入至全连接层,从而得到实时采集的流量数据的预测流量数据。其中,预测流量数据可以是对应实时采集的流量数据序列的下一(多个)时刻的流量数据。例如,流量数据序列包含了10个时刻对应的流量数据,预测流量数据可以是对第11个(12个时刻、13个时刻等)时刻对应的流量数据进行的预测。
在本实施例中,全连接层的每一个节点都与循环神经网络的输出层的所有节点相连,用来把残差网络输出层输出的融合特征向量综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。同时,在利用全连接层的参数对融合特征向量进行线性变换后,可以加上一个非线性激励函数对线性变换的结果进行转换,从而引入非线性因素,以增强流量预测模型的表达能力。其中,激励函数可以是softmax函数,softmax函数是人工神经网络中常见的一种激励函数,在此不再详细赘述。
在本实施例中,全连接层可以用于表征融合特征向量与预测流量数据之间的对应关系,执行主体可以通过多种方式训练出可以表征融合特征向量与预测流量数据之间的对应关系的全连接层。
作为一种示例,执行主体可以基于对大量融合特征向量和预测流量数据进行统计而生成存储有多个融合特征向量与预测流量数据的对应关系的对应关系表,并将该对应关系表作为全连接层。这样,执行主体可以计算实时采集的流量数据序列对应的融合特征向量与该对应关系表中的多个融合特征向量之间的欧氏距离,若该对应关系表中的一个融合特征向量与实时采集的流量数据序列对应的融合特征向量之间的欧氏距离小于预设的距离阈值,则将该对应关系表中的该融合特征向量对应的预测流量数据作为实时采集的流量数据序列对应的预测流量数据。
作为另一种示例,执行主体可以首先获取样本融合特征向量和样本融合特征向量对应的样本预测流量数据;然后将样本融合特征向量作为输入,将样本融合特征向量对应的样本预测流量数据作为输出,训练得到能够表征融合特征向量与预测流量数据之间的对应关系的全连接层。这样,执行主体可以将实时采集的流量数据序列对应的融合特征向量从全连接层的输入侧输入,经过全连接层的参数和激励函数的处理,并从全连接层的输出侧输出,输出侧输出的信息即为实时采集的流量数据序列的预测流量数据。
步骤304,响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
步骤304与步骤202的内容相同,此处不再一一赘述。
从图3中可以看出,与图2对应的实施例相比,本实施例中的信息输出方法的流程300突出了流量预测模型的结构以及各结构的工作原理。由此,本实施例描述的方案能够提高获取流量数据特征的准确性,进而实现对流量数据异常的准确告警。
进一步参考图4,其示出了根据本申请的流量预测模型训练方法的一个实施例的流程400。该流量预测模型训练方法的流程400,包括以下步骤:
步骤401,从历史数据中提取样本流量数据序列,得到样本流量数据序列集合。
在本实施例中,流量预测模型训练方法运行于其上的执行主体(例如图1所示的服务105)可以从历史数据中提取样本流量数据序列。
历史数据中保存有流量数据在无故障(流量数据正常)、故障(流量数据异常)等情况下的变化特征。本实施例执行主体可以从历史数据中提取流量数据无故障情况下的样本流量数据序列,并通过样本流量数据序列构建样本流量数据序列集合。其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间可以间隔设定的时间。
步骤402,将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据。
在本实施例中,基于步骤401所获取的样本流量数据序列集合,执行主体可以将样本流量数据序列集合中的每个样本流量数据序列依次输入至初始流量预测模型,从而得到样本流量数据序列集合中的每个样本流量数据序列所对应的初始预测流量数据。这里,执行主体可以将每个样本流量数据序列从初始流量预测模型的输入侧输入,依次经过初始流量预测模型中的各层的参数的处理,并从初始流量预测模型的输出侧输出,输出侧输出的信息即为该样本流量数据序列所对应的初始预测流量数据。其中,初始流量预测模型可以是未经训练的流量预测模型或未训练完成的流量预测模型,其各层设置有初始化参数,初始化参数在初始流量预测模型的训练过程中可以被不断地调整。
在本实施例的一些可选的实现方式中,上述将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据可以包括:对于上述样本流量数据序列集合中的样本流量数据序列,将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应上述N个样本流量数据的初始预测流量数据。其中,N为正整数。
执行主体可以将样本流量数据序列中连续的N个样本流量数据作为初始流量预测模型的输入,得到N个样本流量数据的初始预测流量数据。
步骤403,将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率。
在本实施例中,基于步骤402所得到的样本流量数据序列集合中的每个样本流量数据序列所对应的初始预测流量数据,执行主体可以将样本流量数据序列集合中的每个样本流量数据序列所对应的初始预测流量数据与样本流量数据序列对应的样本预测流量数据进行比较,从而得到初始流量预测模型的预测准确率。具体地,若样本流量数据序列的初始预测流量数据与样本预测流量数据相同或相近,则初始流量预测模型预测正确;若样本流量数据序列的初始预测流量数据与样本预测流量数据不同或不相近,则初始流量预测模型预测错误。这里,执行主体可以计算预测正确的数目与样本总数的比值,并将该比值作为初始流量预测模型的预测准确率。
在本实施例的一些可选的实现方式中,上述将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率,可以包括以下步骤:
第一步,将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据。
实际中,为了预测的准确性,执行主体可以将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据。
第二步,响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,标记该初始预测流量数据正确。
当样本流量数据序列中的N个样本流量数据的初始预测流量数据与样本预测流量数据之间的差值小于差值阈值时,说明初始流量预测模型的预测准确。此时,可以标记该初始预测流量数据正确。否则,可以标记该初始预测流量数据错误。
第三步,统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
执行主体可以统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,进而得到初始流量预测模型的预测准确率。
步骤404,确定上述预测准确率是否大于预设准确率阈值。
在本实施例中,基于步骤403所得到的初始流量预测模型的预测准确率,执行主体可以将初始流量预测模型的预测准确率与预设准确率阈值进行比较。若大于预设准确度阈值,则执行步骤405;若不大于预设准确度阈值,则执行步骤406。
步骤405,将上述初始流量预测模型作为训练完成的流量预测模型。
在本实施例中,在初始流量预测模型的预测准确度大于预设准确度阈值的情况下,说明该流量预测模型训练完成。此时,执行主体可以将初始流量预测模型作为训练完成的流量预测模型。
步骤406,调整上述初始流量预测模型的参数。
在本实施例中,在初始流量预测模型的预测准确度不大于预设准确度阈值的情况下,执行主体可以调整初始流量预测模型的参数,并返回执行步骤402,直至训练出能够根据实时采集的流量数据序列计算得到预测流量数据的流量预测模型为止。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于告警的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于告警的装置500可以包括:预测流量数据获取单元501和告警单元502。其中,预测流量数据获取单元501被配置成将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,上述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;告警单元502被配置成响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
在本实施例的一些可选的实现方式中,上述流量预测模型可以包括卷积神经网络、残差网络和全连接层。
在本实施例的一些可选的实现方式中,上述预测流量数据获取单元可以包括:第一特征向量获取子单元(图中未示出)、第二特征向量获取子单元(图中未示出)和预测流量数据获取子单元(图中未示出)。其中,第一特征向量获取子单元被配置成将上述实时采集的流量数据序列输入至上述卷积神经网络,得到实时采集的流量数据序列的特征向量,其中,上述卷积神经网络用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系;第二特征向量获取子单元被配置成将实时采集的流量数据序列的特征向量输入至上述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量,其中,上述残差网络用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系;预测流量数据获取子单元被配置成将融合特征向量输入至上述全连接层,得到上述实时采集的流量数据序列的预测流量数据,其中,上述全连接层用于表征融合特征向量与预测流量数据之间的对应关系。
在本实施例的一些可选的实现方式中,上述残差网络可以包括深层特性提取网络和表层特性提取网络,其中,上述深层特性提取网络包括至少两个卷积层,上述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。
在本实施例的一些可选的实现方式中,用于告警的装置500包括流量预测模型训练单元(图中未示出),被配置成训练流量预测模型,上述流量预测模型训练单元可以包括:样本获取子单元(图中未示出)和流量预测模型训练子单元(图中未示出)。其中,样本获取子单元被配置成从历史数据中提取样本流量数据序列,得到样本流量数据序列集合,其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间间隔设定的时间;流量预测模型训练子单元被配置成将上述样本流量数据序列集合中的样本流量数据序列作为输入,将上述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型。
在本实施例的一些可选的实现方式中,上述流量预测模型训练子单元可以包括:流量预测模型训练模块(图中未示出),被配置成将上述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到上述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据;将上述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到上述初始流量预测模型的预测准确率;确定上述预测准确率是否大于预设准确率阈值;若大于上述预测准确率阈值,则将上述初始流量预测模型作为训练完成的流量预测模型。
在本实施例的一些可选的实现方式中,上述流量预测模型训练子单元还可以包括:参数调整模块(图中未示出),响应于不大于上述预测准确率阈值,被配置成调整上述初始流量预测模型的参数,并继续执行上述训练步骤。
在本实施例的一些可选的实现方式中,上述流量预测模型训练模块可以包括:初始预测流量数据获取子模块(图中未示出),对于上述样本流量数据序列集合中的样本流量数据序列,被配置成将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应上述N个样本流量数据的初始预测流量数据。
在本实施例的一些可选的实现方式中,上述流量预测模型训练模块可以包括:样本预测流量数据设置子模块(图中未示出)、标记子模块(图中未示出)和预测准确率获取子模块(图中未示出)。其中,样本预测流量数据设置子模块被配置成将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据;标记子模块,响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,被配置成标记该初始预测流量数据正确;预测准确率获取子模块被配置成统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
本实施例还提供了一种服务器,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述的用于告警的方法。
本实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述的用于告警的方法。
下面参考图6,其示出了适于用来实现本申请实施例的服务器(例如,图1中的服务器105)的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括预测流量数据获取单元和告警单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,告警单元还可以被描述为“用于发出告警信号的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,上述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;响应于上述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (20)
1.一种用于告警的方法,包括:
将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,所述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;
响应于所述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
2.根据权利要求1所述的方法,其中,所述流量预测模型包括卷积神经网络、残差网络和全连接层。
3.根据权利要求2所述的方法,其中,所述将实时采集的流量数据导入预先训练的流量预测模型,得到预测流量数据,包括:
将所述实时采集的流量数据序列输入至所述卷积神经网络,得到实时采集的流量数据序列的特征向量,其中,所述卷积神经网络用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系;
将实时采集的流量数据序列的特征向量输入至所述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量,其中,所述残差网络用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系;
将融合特征向量输入至所述全连接层,得到所述实时采集的流量数据序列的预测流量数据,其中,所述全连接层用于表征融合特征向量与预测流量数据之间的对应关系。
4.根据权利要求3所述的方法,其中,所述残差网络包括深层特性提取网络和表层特性提取网络,其中,所述深层特性提取网络包括至少两个卷积层,所述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。
5.根据权利要求1所述的方法,其中,所述流量预测模型通过如下步骤训练得到:
从历史数据中提取样本流量数据序列,得到样本流量数据序列集合,其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间间隔设定的时间;
将所述样本流量数据序列集合中的样本流量数据序列作为输入,将所述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型。
6.根据权利要求5所述的方法,其中,所述将所述样本流量数据序列集合中的样本流量数据序列作为输入,将所述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型,包括:
执行以下训练步骤:将所述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到所述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据;将所述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到所述初始流量预测模型的预测准确率;确定所述预测准确率是否大于预设准确率阈值;若大于所述预测准确率阈值,则将所述初始流量预测模型作为训练完成的流量预测模型。
7.根据权利要求6所述的方法,其中,所述将所述样本流量数据序列集合中的样本流量数据序列作为输入,将所述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型,还包括:
响应于不大于所述预测准确率阈值,调整所述初始流量预测模型的参数,并继续执行所述训练步骤。
8.根据权利要求6所述的方法,其中,所述将所述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到所述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据,包括:
对于所述样本流量数据序列集合中的样本流量数据序列,将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应所述N个样本流量数据的初始预测流量数据。
9.根据权利要求8所述的方法,其中,所述将所述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到所述初始流量预测模型的预测准确率,包括:
将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据;
响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,标记该初始预测流量数据正确;
统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
10.一种用于告警的装置,包括:
预测流量数据获取单元,被配置成将实时采集的流量数据序列导入预先训练的流量预测模型,得到预测流量数据,所述流量预测模型用于根据实时采集的流量数据序列计算得到预测流量数据;
告警单元,被配置成响应于所述预测流量数据与时间上对应的实际流量数据的差值大于设定阈值,发出告警信号。
11.根据权利要求10所述的装置,其中,所述流量预测模型包括卷积神经网络、残差网络和全连接层。
12.根据权利要求11所述的装置,其中,所述预测流量数据获取单元包括:
第一特征向量获取子单元,被配置成将所述实时采集的流量数据序列输入至所述卷积神经网络,得到实时采集的流量数据序列的特征向量,其中,所述卷积神经网络用于表征实时采集的流量数据序列与实时采集的流量数据序列的特征向量之间的对应关系;
第二特征向量获取子单元,被配置成将实时采集的流量数据序列的特征向量输入至所述残差网络,得到实时采集的流量数据序列的特征向量的融合特征向量,其中,所述残差网络用于表征实时采集的流量数据序列的特征向量与融合特征向量之间的对应关系;
预测流量数据获取子单元,被配置成将融合特征向量输入至所述全连接层,得到所述实时采集的流量数据序列的预测流量数据,其中,所述全连接层用于表征融合特征向量与预测流量数据之间的对应关系。
13.根据权利要求12所述的装置,其中,所述残差网络包括深层特性提取网络和表层特性提取网络,其中,所述深层特性提取网络包括至少两个卷积层,所述至少两个卷积层中在前的卷积层的输出作为相邻的在后卷积层的输入。
14.根据权利要求10所述的装置,其中,所述装置包括流量预测模型训练单元,被配置成训练流量预测模型,所述流量预测模型训练单元包括:
样本获取子单元,被配置成从历史数据中提取样本流量数据序列,得到样本流量数据序列集合,其中,历史数据为无故障时的网络流量历史数据,样本流量数据序列中相邻的样本流量数据之间间隔设定的时间;
流量预测模型训练子单元,被配置成将所述样本流量数据序列集合中的样本流量数据序列作为输入,将所述样本流量数据序列集合中的样本流量数据序列对应的样本预测流量数据作为输出,训练得到流量预测模型。
15.根据权利要求14所述的装置,其中,所述流量预测模型训练子单元包括:
流量预测模型训练模块,被配置成将所述样本流量数据序列集合中的样本流量数据序列依次导入初始流量预测模型,得到所述样本流量数据序列集合中的样本流量数据序列对应的初始预测流量数据;将所述样本流量数据序列集合中的样本流量数据序列所对应的初始预测流量数据与该样本流量数据序列对应的样本预测流量数据进行比较,得到所述初始流量预测模型的预测准确率;确定所述预测准确率是否大于预设准确率阈值;若大于所述预测准确率阈值,则将所述初始流量预测模型作为训练完成的流量预测模型。
16.根据权利要求15所述的装置,其中,所述流量预测模型训练子单元还包括:
参数调整模块,响应于不大于所述预测准确率阈值,被配置成调整所述初始流量预测模型的参数,并继续执行所述训练步骤。
17.根据权利要求15所述的装置,其中,所述流量预测模型训练模块包括:
初始预测流量数据获取子模块,对于所述样本流量数据序列集合中的样本流量数据序列,被配置成将该样本流量数据序列中连续的N个样本流量数据导入初始流量预测模型,得到对应所述N个样本流量数据的初始预测流量数据。
18.根据权利要求17所述的装置,其中,所述流量预测模型训练模块包括:
样本预测流量数据设置子模块,被配置成将样本流量数据序列中的第N+1个样本流量数据作为样本预测流量数据;
标记子模块,响应于初始预测流量数据与样本预测流量数据之间的差值小于差值阈值,被配置成标记该初始预测流量数据正确;
预测准确率获取子模块,被配置成统计初始流量预测模型得到的对应样本流量数据序列的初始预测流量数据的正确率,得到初始流量预测模型的预测准确率。
19.一种服务器,包括:
一个或多个处理器;
存储器,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至9中任一所述的方法。
20.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至9中任一所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810817136.XA CN108985446A (zh) | 2018-07-24 | 2018-07-24 | 用于告警的方法及装置 |
US16/506,988 US10951500B2 (en) | 2018-07-24 | 2019-07-09 | Method and apparatus for warning |
JP2019128050A JP2020017952A (ja) | 2018-07-24 | 2019-07-10 | 警告するための方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810817136.XA CN108985446A (zh) | 2018-07-24 | 2018-07-24 | 用于告警的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108985446A true CN108985446A (zh) | 2018-12-11 |
Family
ID=64549551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810817136.XA Pending CN108985446A (zh) | 2018-07-24 | 2018-07-24 | 用于告警的方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10951500B2 (zh) |
JP (1) | JP2020017952A (zh) |
CN (1) | CN108985446A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816983A (zh) * | 2019-02-26 | 2019-05-28 | 昆明理工大学 | 一种基于深度残差网络的短时交通流量预测方法 |
CN109921950A (zh) * | 2019-03-28 | 2019-06-21 | 北京奇艺世纪科技有限公司 | 一种网络带宽需求预测方法、装置及电子设备 |
CN109995592A (zh) * | 2019-04-09 | 2019-07-09 | 中国联合网络通信集团有限公司 | 业务质量监控方法和设备 |
CN110119725A (zh) * | 2019-05-20 | 2019-08-13 | 百度在线网络技术(北京)有限公司 | 用于检测信号灯的方法及装置 |
CN110149238A (zh) * | 2019-06-18 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于预测流量的方法和装置 |
CN111740865A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111769985A (zh) * | 2020-06-29 | 2020-10-13 | 中国联合网络通信集团有限公司 | 一种数据流量预测方法及装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7400819B2 (ja) * | 2019-06-26 | 2023-12-19 | 日本電信電話株式会社 | 予測装置、予測方法、及び予測プログラム |
WO2021009818A1 (ja) * | 2019-07-12 | 2021-01-21 | 日本電信電話株式会社 | 抽出装置、抽出方法及び抽出プログラム |
CN110347973B (zh) * | 2019-07-15 | 2023-07-14 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
CN111325278B (zh) * | 2020-02-26 | 2023-08-29 | 重庆金山医疗技术研究院有限公司 | 一种图像处理方法、装置及存储介质 |
CN112036642A (zh) * | 2020-08-31 | 2020-12-04 | 中国平安人寿保险股份有限公司 | 基于人工智能的信息预测方法、装置、设备及介质 |
JP7392875B2 (ja) * | 2020-11-30 | 2023-12-06 | 日本電信電話株式会社 | Nfvシステム |
CN112801712B (zh) * | 2021-02-09 | 2024-03-01 | 杭州网易再顾科技有限公司 | 一种广告投放策略的优化方法及装置 |
CN113361855A (zh) * | 2021-05-07 | 2021-09-07 | 浙江警官职业学院 | 一种短中长期风险的告警方法及装置 |
US11962506B2 (en) | 2021-06-01 | 2024-04-16 | Cisco Technology, Inc. | Dynamic traffic class upgrading |
CN113435122B (zh) * | 2021-06-30 | 2023-11-07 | 平安科技(深圳)有限公司 | 实时流量数据处理方法、装置、计算机设备和存储介质 |
CN113605984B (zh) * | 2021-08-31 | 2024-07-09 | 中煤科工集团重庆研究院有限公司 | 用于水害微震的报警阈值的判断方法 |
US12058016B2 (en) | 2022-01-27 | 2024-08-06 | Avago Technologies International Sales Pte. Limited | Feature extraction for inline network analysis |
US20230239310A1 (en) * | 2022-01-27 | 2023-07-27 | Avago Technologies International Sales Pte. Limited | Deep learning based system and method for inline network analysis |
CN114861880B (zh) * | 2022-05-06 | 2024-04-12 | 清华大学 | 基于空洞卷积神经网络的工业设备故障预测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025515A (zh) * | 2015-06-30 | 2015-11-04 | 电子科技大学 | 一种基于gm模型的无线传感器网络流量异常检测方法 |
CN106789297A (zh) * | 2016-12-29 | 2017-05-31 | 淮海工学院 | 基于神经网络的网络流量预测系统及其流量预测方法 |
CN107948166A (zh) * | 2017-11-29 | 2018-04-20 | 广东亿迅科技有限公司 | 基于深度学习的流量异常检测方法及装置 |
CN108053080A (zh) * | 2017-12-30 | 2018-05-18 | 中国移动通信集团江苏有限公司 | 区域用户数量统计值预测方法、装置、设备及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6417343B2 (ja) | 2016-02-10 | 2018-11-07 | 日本電信電話株式会社 | 時系列データ異常監視装置及び時系列データ異常監視方法 |
US20170339022A1 (en) | 2016-05-17 | 2017-11-23 | Brocade Communications Systems, Inc. | Anomaly detection and prediction in a packet broker |
EP3301675B1 (en) * | 2016-09-28 | 2019-08-21 | Panasonic Intellectual Property Corporation of America | Parameter prediction device and parameter prediction method for acoustic signal processing |
US20180181864A1 (en) * | 2016-12-27 | 2018-06-28 | Texas Instruments Incorporated | Sparsified Training of Convolutional Neural Networks |
US10108850B1 (en) * | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
US10474464B2 (en) * | 2017-07-05 | 2019-11-12 | Deep Vision, Inc. | Deep vision processor |
US11151711B2 (en) * | 2018-06-06 | 2021-10-19 | Kla-Tencor Corporation | Cross layer common-unique analysis for nuisance filtering |
-
2018
- 2018-07-24 CN CN201810817136.XA patent/CN108985446A/zh active Pending
-
2019
- 2019-07-09 US US16/506,988 patent/US10951500B2/en active Active
- 2019-07-10 JP JP2019128050A patent/JP2020017952A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025515A (zh) * | 2015-06-30 | 2015-11-04 | 电子科技大学 | 一种基于gm模型的无线传感器网络流量异常检测方法 |
CN106789297A (zh) * | 2016-12-29 | 2017-05-31 | 淮海工学院 | 基于神经网络的网络流量预测系统及其流量预测方法 |
CN107948166A (zh) * | 2017-11-29 | 2018-04-20 | 广东亿迅科技有限公司 | 基于深度学习的流量异常检测方法及装置 |
CN108053080A (zh) * | 2017-12-30 | 2018-05-18 | 中国移动通信集团江苏有限公司 | 区域用户数量统计值预测方法、装置、设备及介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816983A (zh) * | 2019-02-26 | 2019-05-28 | 昆明理工大学 | 一种基于深度残差网络的短时交通流量预测方法 |
CN109921950A (zh) * | 2019-03-28 | 2019-06-21 | 北京奇艺世纪科技有限公司 | 一种网络带宽需求预测方法、装置及电子设备 |
CN109921950B (zh) * | 2019-03-28 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种网络带宽需求预测方法、装置及电子设备 |
CN109995592A (zh) * | 2019-04-09 | 2019-07-09 | 中国联合网络通信集团有限公司 | 业务质量监控方法和设备 |
CN110119725A (zh) * | 2019-05-20 | 2019-08-13 | 百度在线网络技术(北京)有限公司 | 用于检测信号灯的方法及装置 |
CN110119725B (zh) * | 2019-05-20 | 2021-05-25 | 百度在线网络技术(北京)有限公司 | 用于检测信号灯的方法及装置 |
CN110149238A (zh) * | 2019-06-18 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于预测流量的方法和装置 |
CN111740865A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111740865B (zh) * | 2020-06-23 | 2022-09-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111769985A (zh) * | 2020-06-29 | 2020-10-13 | 中国联合网络通信集团有限公司 | 一种数据流量预测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200036611A1 (en) | 2020-01-30 |
US10951500B2 (en) | 2021-03-16 |
JP2020017952A (ja) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108985446A (zh) | 用于告警的方法及装置 | |
CN109902186A (zh) | 用于生成神经网络的方法和装置 | |
CN108520220A (zh) | 模型生成方法和装置 | |
CN110276272A (zh) | 确认标签人员的同行人员关系的方法、装置、存储介质 | |
CN109344908A (zh) | 用于生成模型的方法和装置 | |
CN108038469A (zh) | 用于检测人体的方法和装置 | |
CN109426593A (zh) | 自动评估系统性能的方法和装置 | |
CN110364257A (zh) | 人车风险预测方法、装置、介质及电子设备 | |
CN109976997A (zh) | 测试方法和装置 | |
CN108563548A (zh) | 异常检测方法及装置 | |
CN108228428A (zh) | 用于输出信息的方法和装置 | |
CN110263938A (zh) | 用于生成信息的方法和装置 | |
CN108256476A (zh) | 用于识别果蔬的方法和装置 | |
CN109815365A (zh) | 用于处理视频的方法和装置 | |
CN110163705A (zh) | 用于推送信息的方法和装置 | |
CN107451266A (zh) | 用于处理数据方法及其设备 | |
CN108776692A (zh) | 用于处理信息的方法和装置 | |
CN108171191A (zh) | 用于检测人脸的方法和装置 | |
CN110070076A (zh) | 用于选取训练用样本的方法和装置 | |
CN108427941A (zh) | 用于生成人脸检测模型的方法、人脸检测方法和装置 | |
CN108182472A (zh) | 用于生成信息的方法和装置 | |
CN109446384A (zh) | 用于生成人员组织架构信息的方法和系统 | |
CN109697392A (zh) | 绘制目标对象热力图的方法及装置 | |
CN110022529A (zh) | 基于两种传感模式的目标区域人数统计的方法和装置 | |
CN107819745A (zh) | 异常流量的防御方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |
|
RJ01 | Rejection of invention patent application after publication |