CN110086649B - 异常流量的检测方法、装置、计算机设备及存储介质 - Google Patents

异常流量的检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110086649B
CN110086649B CN201910208510.0A CN201910208510A CN110086649B CN 110086649 B CN110086649 B CN 110086649B CN 201910208510 A CN201910208510 A CN 201910208510A CN 110086649 B CN110086649 B CN 110086649B
Authority
CN
China
Prior art keywords
flow
flow data
time
data
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910208510.0A
Other languages
English (en)
Other versions
CN110086649A (zh
Inventor
郑宇聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201910208510.0A priority Critical patent/CN110086649B/zh
Publication of CN110086649A publication Critical patent/CN110086649A/zh
Application granted granted Critical
Publication of CN110086649B publication Critical patent/CN110086649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明公开了一种异常流量的检测方法、装置、计算机设备及存储介质，所述方法包括：对监控对象的历史流量数据进行筛选，获取目标流量数据，对目标流量数据进行回归分析，建立流量预测模型，使用该流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果，再按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值，同时，当监控对象的实时流量数据大于流量告警阈值时，进一步获取监控对象的实时访问日志，若实时访问日志的响应时间大于响应时间阈值，则进行异常流量告警。本发明的实施例能够提高告警阈值的准确度，并结合服务的响应时间进行判断，从而提高异常流量检测的准确率。

Description

异常流量的检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及软件监控技术领域，尤其涉及一种异常流量的检测方法、装置、计算机设备及存储介质。
背景技术
在应对数量巨大的用户群体时，为了保证网站的服务端的服务器能够正常运行，为用户提供正常的访问服务，则需要对服务端的网络流量的异常情况进行监控，以便及时发现并解决服务端的异常问题，以免异常问题的扩大化，造成更大的损失，因此，对于服务端的网络流量状态的监控是必不可少的运维项目。
目前，针对服务端的网络流量数据，主要是通过在监控系统中设置告警阈值进行预警的方式进行监控，例如，在监测点设置采集端，定期将流量数据收集并反馈至监控系统，若收集的网络流量数据超过该告警阈值，监控系统则发送告警提示给相关的运维人员。
但是，监控系统的告警阈值一般是根据历史经验进行设置，根据历史经验设置的告警阈值的准确度不高，并且在到达告警阈值时，亦不能说明目前已影响到服务器正常运行，容易造成误判，因此，现有的网络流量监控方法中异常流量的检测准确率不高，导致不必要的告警邮件的发送，给工作人员增加工作负担。
发明内容
本发明实施例中提供一种异常流量的检测方法、装置、计算机设备及存储介质，以解决目前服务器的网络流量异常检测的准确率低的问题。
一种异常流量的检测方法，包括：
从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；
对所述目标流量数据进行回归分析，建立流量预测模型；
使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；
按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；
获取所述监控对象的实时流量数据；
若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；
若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。
一种异常流量的检测装置，包括：
样本筛选模块，用于从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；
模型构建模块，用于对所述目标流量数据进行回归分析，建立流量预测模型；
流量预测模块，用于使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；
阈值设置模块，用于按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；
流量采集模块，用于获取所述监控对象的实时流量数据；
日志查询模块，用于若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；
异常告警模块，用于若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常流量的检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述异常流量的检测方法的步骤。
上述异常流量的检测方法、装置、计算机设备及存储介质，通过对监控对象的历史流量数据进行筛选处理，获取目标流量数据，将异常的流量数据删除，得到监控对象在正常状态下的历史流量数据，并对目标流量数据进行回归分析，建立流量预测模型，使用流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果，使得工作人员掌握能够掌握监控对象在未来的时间段内的流量数据的变化趋势，按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值，使得告警阈值的设置规范化，提高告警阈值的准确度，从而能够提高异常流量检测的准确率，同时，当监控对象的实时流量数据大于流量告警阈值时，进一步获取监控对象的实时访问日志，使用实时访问日志中的响应时间与预设的响应时间阈值进行进一步地对比，当响应时间大于预设的响应时间阈值时，进行异常流量告警，从而通过使用实时响应时间与响应时间阈值对比分析，排除因瞬时流量突变而出现的误告警情况，进一步提高异常流量检测的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中异常流量的检测方法的一应用环境示意图；
图2是本发明一实施例中异常流量的检测方法的一流程图；
图3是本发明实施例中异常流量的检测方法中对实时流量数据和预测流量数据进行对比的一具体流程图；
图4是本发明实施例中异常流量的检测方法中对历史流量数据进行筛选的一具体流程图；
图5是本发明实施例中异常流量的检测方法中确定响应时间阈值的一具体流程图；
图6是本发明实施例中异常流量的检测方法中计算响应时间阈值的一具体流程图；
图7是本发明一实施例中异常流量的检测装置的一原理框图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供的异常流量的检测方法，可应用在如图1的应用环境中，该应用环境包括监控对象、监控端和服务端，其中，监控端和监控对象之间通过网络进行连接，服务端和监控端之间通过网络进行连接。监控端对监控对象进行监控，服务端从监控端获取历史流量数据进行统计分析，设置流量告警阈值，并根据监控端监控到的实时流量数据和监控对象的请求响应时间进行异常流量告警检测。该监控对象具体可以是独立的服务器或者多个服务器组成的服务器集群，监控端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本发明实施例提供异常流量的检测方法应用于服务端。
在一实施例中，图2示出本实施例中异常流量的检测方法的一流程图，该方法应用在图1中的服务端，用于对监控对象的异常流量进行检测和告警。如图2所示，该异常流量的检测方法包括步骤S10至步骤S70，详述如下：
S10：从预设的流量信息库中获取监控对象的历史流量数据，并对历史流量数据进行筛选处理，获取目标流量数据。
在本实施例中，监控对象是网站用于提供访问服务的服务器或者服务器集群，服务器集群是指服务商使用多个服务器集中进行同一种服务的方式，预设的流量信息库是服务端预先设置用于存储监控到的网络流量数据的数据库，网络流量是单位时间内服务器被请求访问的次数。
具体地，服务端可以使用Ganglia或者Zabbix等监控工具对监控对象进行监控，服务端预先使用监控工具对监控对象的网络流量进行监控，并将监控得到的网络流量数据存储到预设的流量信息库中，得到历史流量数据，该历史流量数据包括服务器标识、监控时间和测量值，服务端可以从预设的流量信息库中获取监控对象的历史流量数据。
其中，Ganglia是一个开源的集群监视项目，可以用于监测大量监控节点的工作状态，Zabbix是一个基于Web界面的提供分布式系统监视以及网络监视功能的企业级的开源项目。
可选地，服务端可以通过查询监控对象已出现的异常流量问题，并确定该异常流量问题对应的历史流量数据，对历史流量数据进行筛选处理，过滤掉出现异常流量问题的历史流量数据，获取监控对象在正常状态下的提供的访问服务对应的历史流量数据作为目标流量数据。
S20：对目标流量数据进行回归分析，建立流量预测模型。
在本实施例中，服务端使用回归算法对目标流量数据进行回归分析，该回归算法是对数据样本进行回归分析，获取样本数据中的变量之间的相互依赖的定量关系的一种统计分析方法，回归算法包括线性回归算法和非线性回归算法。
优选地，服务端根据目标流量数据的分布特征，将目标流量数据的监控时间作为自变量，测量值作为因变量，使用线性回归算法对目标流量数据进行回归分析，确定目标流量数据中的监控时间和测量值之间的依赖关系，得到自变量与因变量之间的变量关系系数K，以及调节因子b，从而拟合得到网络流量数据的曲线符合线性关系函数Yt≈kt+b，将拟合得到的线性关系函数作为流量预测模型，即流量预测模型为：Yt＝kt+b，其中，Yt为时间t的网络流量数据，t为时间，k为变量关系系数，b为调节因子，k和b均为常数。
S30：使用流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果。
其中，预设时间段是在服务端预先设置的一个时间范围，该预设时间段可以设置为一天，也可以设置为一个星期，具体可以根据实际应用的需要进行设置，此处不做限制。
具体地，使用流量预测模型对监控对象的网络流量数据进行预测，能够得到时间与网络流量数据对应的预测结果，该预测结果包括在预设时间段内的预测流量数据。
可选地，预设时间段可以设置为过去的时间段，流量预测模型可以预测出在预设时间段内监控对象的流量数据的预测结果，使用历史流量数据与预测结果进行对比分析，从而可以对流量预测模型的模型参数进行调节，提高流量预测模型对监控对象的网络流量数据的预测准确度。
可选地，预设时间段可以设置为未来的时间段，流量预测模型可以预测出未来的时间段内监控对象的网络流量数据的变化趋势，使得相关工作人员能够清楚地了解到，在未来时间段内，监控对象在正常状态下提供的访问服务对应的网络流量数据，若监控到的实时网络流量数据与预测结果中的偏差较大，则表示监控对象的网络流量数据可能出现异常问题。
S40：按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值。
在本实施例中，预设的统计方式是预先设置的一种数学统计方法，用于对流量预测模型的预测结果进行统计分析，从而计算得到告警阈值，使得告警阈值设置的准确性更高。
可选地，服务端可以采用泊松分布的统计方法对预测结果进行统计分析，得到监控对象的流量告警阈值。
具体地，泊松分布的统计方法是用于描述单位时间内监控对象的网络流量数据的离散概率分布，该单位时间具体可以是一秒钟，也可以是一分钟，但并不限于此，此处不做限制。
根据步骤S30得到的预测结果中的预测流量数据，按照公式(1)计算网络流量数据的泊松分布的概率：
Figure BDA0001999770680000081
其中，P(Yt)为网络流量数据的概率，Yt为预测结果中的时间t的网络流量数据，λ为预测结果中的预测流量数据，λ＝Yt。
同时，按照公式(2)计算网络流量数据小于流量告警阈值的概率：
Figure BDA0001999770680000082
其中，P(Yt≤C)为网络流量数据小于流量告警阈值的概率，C为流量告警阈值，V为网络流量数据，p(v,λ)是预测流量数据λ中网络流量数据为V的概率，v≤λ。
值得注意的是，当网络流量数据较大时，泊松分布服从正态分布，正态分布是指网络流量数据的离散分布曲线属于两边低，并且中间高的钟形曲线，正态分布的表达式为：N(μ，σ^2)，其中，μ为网络流量数据的数学期望，σ^2为网络流量数据的方差。
优选地，当μ＝σ^2＝λ时，将μ＝σ^2＝λ输入公式(1)中，计算得到P(Yt)的值，将P(Yt)的值赋予P(Yt≤C)输入公式(2)中，求出C的值，并将计算得到的C值作为监控对象的流量告警阈值。
S50：获取监控对象的实时流量数据。
具体地，实时流量数据是指监控对象的实时访问流量的数据，服务端可以通过监控工具对监控对象的实时流量数据进行采集，得到包括服务器标识、监控时间和测量值的实时流量数据。
S60：若实时流量数据大于流量告警阈值，则从预设的日志库中，获取监控对象的实时访问日志，其中，该实时访问日志包括访问请求和访问请求的响应时间。
在本实施例中，预设的日志库是用于存储监控对象的访问日志的数据库，访问日志包括但不限于访问请求和访问请求的响应时间，访问请求是指用户向监控对象提交的请求内容，响应时间是指监控对象从接收访问请求到完成请求内容的响应所消耗的时长。
具体地，服务端若检测到实时流量数据大于流量告警阈值，则表示监控对象可能存在网络流量出现异常的情况，服务端从预设的日志库中检索监控对象的实时访问日志，获取与实时流量数据处于同一时间点的实时访问日志，对监控对象的服务状态进行进一步地分析，以便确认在实时流量数据超过告警阈值的情况下，监控对象是否还能够提供正常的访问服务。
S70：若实时访问日志的响应时间大于预设的响应时间阈值，则进行异常流量告警。
具体地，若实时访问日志的响应时间大于预设的响应时间阈值，则确认监控对象的网络流量出现异常情况，根据实时流量数据生成告警信息，将告警信息发送到相关工作人员的信息接收地址中，发出异常流量告警信息，以使工作人员根据实时流量数据中的服务器标识，确定监控对象中出现异常流量的服务器，并且能够根据实时流量数据中的测量值进行问题定位，其中，该信息接收地址可以是邮件接收地址，也可以是短信接收地址，具体可以根据实际情况的需要进行设置，此处不做限制。
需要说明的是，若实时访问日志的响应时间不大于预设的响应时间阈值，则表示监控对象仍能为用户的访问请求提供正常的访问服务，此时可能是由于瞬时流量突变而出现的误告警情况，并且不做异常流量告警处理，减少告警信息的误告率。
在图2对应的实施例中，通过对监控对象的历史流量数据进行筛选处理，获取目标流量数据，将异常的流量数据删除，得到监控对象在正常状态下的历史流量数据，并对目标流量数据进行回归分析，建立流量预测模型，使用流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果，使得工作人员掌握能够掌握监控对象在未来的时间段内的流量数据的变化趋势，按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值，使得告警阈值的设置规范化，提高告警阈值的准确度，从而能够提高异常流量检测的准确率，同时，当监控对象的实时流量数据大于流量告警阈值时，进一步获取监控对象的实时访问日志，使用实时访问日志中的响应时间与预设的响应时间阈值进行进一步地对比，当响应时间大于预设的响应时间阈值时，进行异常流量告警，从而通过使用实时响应时间与响应时间阈值对比分析，排除因瞬时流量突变而出现的误告警情况，进一步提高异常流量检测的准确率。
在一实施例中，如图3所示，在步骤S50之后，即在获取监控对象的实时流量数据之后，异常流量的检测方法还包括：
S51：根据实时流量数据的获取时间，从预测结果中，获取与实时流量数据对应的预测流量数据。
在本实施例中，实时流量数据包括服务器标识、监控时间和测量值，服务端实时通过监控工具获取监控对象的实时流量数据，因此，实时流量数据的获取时间即为实时流量数据中的监控时间。
具体地，预测结果是预先使用流量预测模型对监控对象的未来时间段的网络流量进行预测得到的结果，根据实时流量数据的获取时间，从预测结果中，获取与实时流量数据处于同一时间点的预测流量数据。
S52：计算实时流量数据与预测流量数据之间的偏差值。
具体地，偏差值是指实时流量数据与预测流量数据之间的差值的绝对值，例如，在预测结果中，5月1号8:00到8:10对应的预测流量数据为5000次访问量，而在在5月1号8:00到8:10分这个时间段内，使用监控工具监控得到的实时流量数据为5800次访问量，通过使用实时流量数据和预测流量数据进行对比，可以确定在5月1号8:00到8:10分这个时间段内，监控得到的实时流量数据超出预测得到的预测流量数据800次访问量，也即，实时流量数据与预测流量数据之间的偏差值为800次访问量。
S53：根据偏差值在预设的异常等级定义表中进行查询，确认监控对象的流量数据的异常等级，并根据异常等级对应的预设告警策略进行告警处理。
其中，预设的异常等级定义表，用于区分异常流量的异常问题严重程度，异常流量的异常等级越高，异常问题越严重，预设的异常等级定义表可以根据实际应用的需要进行设置，此处不做限制。
具体地，服务端根据偏差值，在预设的异常等级定义表中，确定监控对象的流量数据异常等级，并根据异常等级对应的预设告警策略进行告警处理，该预设告警策略是针对每个异常等级预先设置的告警处理方案，异常等级越高，告警处理的优先级也越高，具体的告警处理方案可以根据异常问题的严重性进行设置，此处不做限制。
为了更好的理解本步骤，下面以一个具体的异常流量的异常等级分类为例加以说明，如表一所示，表一示出了异常等级分为普通异常、严重异常和骤变异常等三个异常等级的定义标准，普通异常为异常等级的最低级别，骤变异常为异常问题的最高级别。
表一.异常等级定义表
等级 异常等级定义
普通异常 偏差值小于800
严重异常 偏差值大于800但小于2000
骤变异常 偏差值大于2000
其中，普通异常是指，实时流量数据与预测流量数据存在较小的偏差值，可能是少量用户突发访问，或者由爬虫工具对网站爬取引起的差值，会出现短暂的流量异常，但是监控对象仍能够提供正常的访问服务，针对异常等级为普通异常的异常问题，可以将告警策略设置为：若连续10次检测到普通异常，则发送预警信息。
严重异常是指，实时流量数据与预测流量数据存在较大的偏差值，可能是由于网络故障或者流量推广活动等引起较大的流量数据变化，从而导致的异常问题，监控对象提供的访问服务存在拥塞的情况，需要排查流量数据变化的原因，针对异常等级为严重异常的异常问题，可以将告警策略设置为：向工作人员发送预警信息，以便人工介入对监控对象出现的异常进行维护。
骤变异常是指，流量突然出现大幅度的增长或者下跌，可能是监控对象受到突发的网络流量攻击，或者监控对象的软硬件系统出现严重问题，针对异常等级为骤变异常的异常问题，可以将告警策略设置为：发送灾难级别的告警信息给相关单位，使得相关工作人员能够立刻以最高优先级的方案进行排查和解决异常问题。
在图3对应的实施例中，通过获取与实时流量数据对应的预测流量数据，计算实时流量数据与预测流量数据之间的偏差值，并根据偏差值在预设的异常等级定义表中进行查询，确认监控对象的流量数据的异常等级，按照异常等级对应的预设告警策略进行告警处理，能够检测到监控对象的网络流量的异常状况，提高异常流量检测的准确率。
在一实施例中，本实施例对步骤S10中所提及的从预设的流量信息库中获取监控对象的历史流量数据，并对历史流量数据进行筛选处理，获取目标流量数据的具体实现方法进行详细说明。
请参阅图4，图4示出了步骤S10的一具体流程图，详述如下：
S101：从预设的流量信息库中获取监控对象的历史流量数据，其中，该监控对象包括N台服务器，N为正整数，历史流量数据包括服务器标识和监控时间。
其中，预设的流量信息库是服务端预先设置用于存储监控到的网络流量数据的数据库，监控对象是网站用于提供访问服务的服务器或者服务器集群，监控对象包括N台服务器，N可以等于1，也可以等于2，但并不限于此，具体可以根据实际情况进行确定。
具体地，服务端可以从预设的流量信息库中获取监控对象的历史流量数据，该历史流量数据包括服务器标识、监控时间和测量值，每台服务器对应一个服务器标识，服务器标识能够唯一标识监控对象中的服务器。
S102：将包含相同的服务器标识的历史流量数据保存到同一流量数据集中，得到N个流量数据集。
具体地，服务端根据历史流量数据的服务器标识，对获取到的历史流量数据进行分组，将包含相同服务器标识信息的历史流量数据保存到同一流量数据集中，得到N个流量数据集，N的数值等于监控对象中服务器的个数。
S103：针对每个流量数据集，按照历史流量数据的监控时间的时间顺序，对每个流量数据集中的历史流量数据进行排序，构建每台服务器的流量时序数据。
具体地，针对每个流量数据集，根据历史流量数据中监控时间的时间先后顺序，对每组历史流量数据进行排序，建立每台服务器的流量时序数据，共得到N台服务器的流量时序数据，例如，服务器1的时序流量数据为，服务器1＝{(时间1，测量值1)、(时间2，测量值2)、…、(时间n，测量值n)}。
S104：根据N台服务器的流量时序数据，计算在同一时间下监控对象的流量特征数据，其中，该流量特征数据包括最大流量值、最小流量值和平均流量值。
具体地，根据N台服务器的流量时序数据，在监控对象的历史流量数据中，获取每个时间点的最大流量值和最小流量值，同时，计算在每个时间点监控对象的平均流量值，得到在每个时间点下的最大流量值、最小流量值和平均流量值，并将最大流量值、最小流量值和平均流量值作为监控对象的流量特征数据。
例如，服务端经过计算可以得到监控对象的最大流量值、最小流量值和平均流量值分别为，最大流量值＝{(时间1，最大流量值1)、(时间2，最大流量值2)、…、(时间n，最大流量值n)}，最小流量值＝{(时间1，最小流量值1)、(时间2，最小流量值2)、…、(时间n，最小流量值n)}，平均流量值＝{(时间1，平均流量值1)、(时间2，平均流量值2)、…、(时间n，平均流量值n)}。
S105：获取满足预设的样本要求的流量特征数据作为目标流量数据。
具体地，预设的样本要求，是用于区分流量特征数据的值是否存在异常的判断条件，若满足预设的样本要求，则表示该流量特征数据是监控对象在正常状态下产生的流量特征数据，若不满足预设的样本要求，则表示该流量特征数据可能存在异常，获取满足预设的样本要求的流量特征数据作为目标流量数据，使用目标流量数据进行分析建模，能够提高用于模型训练的训练样本的样本质量，从而提高模型的准确度。
其中，该预设的样本要求可以根据流量预测模型构建的需要进行设置，此处不做限制，例如，样本要求可以设置为：获取每天8:00-18:00的流量特征数据，获取网络流量数据为每分钟访问次数不大于1000次的流量特征数据等。
在图4对应的实施例中，通过获取监控对象的历史流量数据，将包含相同的服务器标识的历史流量数据保存到同一流量数据集中，按照历史流量数据对应的监控时间的顺序，对每个流量数据集中的历史流量数据进行排序，构建每台服务器的流量时序数据，再计算在同一时间下监控对象的流量特征数据，获取满足预设的样本要求的流量特征数据作为目标流量数据，从而能够提高用于模型训练的训练样本的样本质量，从而提高模型的准确度。
在一实施例中，如图5所示，在步骤S60之后，并且在步骤S70之前，即在若实时流量数据大于流量告警阈值，则从预设的日志库中，获取监控对象的实时访问日志之后，并且在若实时访问日志的响应时间大于预设的响应时间阈值，则进行异常流量告警之前，异常流量的检测方法还包括：
S61：获取实时访问日志中访问请求的访问类型，其中，该访问类型包括静态资源请求和动态资源请求。
在本实施例中，静态资源请求是指，客户端向监控对象发送静态资源请求的访问请求，监控对象从内存中获取设计好的HTML(HyperText Markup Language，超文本标记语言)页面返回给客户端。动态资源请求是指，客户端向监控对象发送动态资源请求的访问请求，监控对象需要连接数据库，通过数据库运行处理数据后，将处理得到的内容提交给监控对象，监控对象再将内容转换为HTML页面返回给客户端。
具体地，实时访问日志包括访问请求和访问请求的响应时间，服务端可以对实时访问日志中访问请求的访问类型进行检测，以便确定实时访问日志的访问类型。
S62：若访问类型为静态资源请求，则将静态资源请求对应的响应时间阈值作为预设的响应时间阈值。
具体地，服务端可以根据监控对象的硬件配置信息，设置静态资源请求对应的响应时间阈值，监控对象的硬件配置越高，静态资源请求对应的响应时间阈值可以设置得越小，该静态资源请求对应的响应时间阈值，是用于区分监控对象能否为静态资源请求提供正常的访问服务，若实时访问日志中的访问请求的访问类型为静态资源请求，则将静态资源请求对应的响应时间阈值作为预设的响应时间阈值，用于与实时访问日志中的实时响应时间进行比对。
S63：若访问类型为动态资源请求，则将动态资源请求对应的响应时间阈值作为预设的响应时间阈值。
具体地，服务端可以根据监控对象中监控对象的硬件配置信息，设置动态资源请求对应的响应时间阈值，监控对象的硬件配置越高，动态资源请求对应的响应时间阈值可以设置得越小，该动态资源请求对应的响应时间阈值，是用于区分监控对象能否为动态资源请求提供正常的访问服务，若实时访问日志中的访问请求的访问类型为动态资源请求，则将动态资源请求对应的响应时间阈值作为预设的响应时间阈值，用于与实时访问日志中的实时响应时间进行比对。
在图5对应的实施例中，通过获取实时访问日志中访问请求的访问类型，并根据实时访问日志的访问类型进行获取响应时间阈值，使用获取到的响应时间阈值与实时访问日志中的实时响应时间进行比对，使得对监控对象的实时响应时间进行分析的精确度更高，从而提高异常流量监测的准确性。
在一实施例中，如图6所示，在步骤S70之前，即在若实时访问日志的响应时间大于预设的响应时间阈值，则进行异常流量告警之前，异常流量的检测方法还包括：
S64：从预设的日志库中，获取历史访问日志，其中，该历史访问日志包括访问请求和访问请求的响应时间。
在本实施例中，预设的日志库是用于存储监控对象的访问日志的数据库，服务端可以从预设的日志库中获取历史访问日志，其中，该历史访问日志包括但不限于访问请求和访问请求的响应时间，访问请求是指用户向监控对象提交的请求内容，响应时间是指监控对象从接收访问请求到完成请求内容的响应所消耗的时长。
S65：检测历史访问日志中访问请求的访问类型，将访问类型为静态资源请求的历史访问日志存储到第一日志集中，以及将访问类型为动态资源请求的历史访问日志存储到第二日志集中。
具体地，服务端对历史访问日志中访问请求的访问类型进行检测，将访问类型为静态资源请求的历史访问日志存储到第一日志集中，以及将访问类型为动态资源请求的历史访问日志存储到第二日志集中，其中，第一日志集和第二日志集均为文件的存储空间。
S66：计算第一日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为静态资源请求对应的响应时间阈值。
具体地，服务端通过计算第一日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为静态资源请求对应的响应时间阈值，用于区分监控对象能否为静态资源请求提供正常的访问服务。
S67：计算第二日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为动态资源请求对应的响应时间阈值。
具体地，服务端通过计算第二日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为动态资源请求对应的响应时间阈值，用于区分监控对象能否为动态资源请求提供正常的访问服务。
例如，第二日志集中有三个历史访问日志，三个历史访问日志对应的响应时间分别为10S、12S和17S，通过计算得到第二日志集中的历史访问日志的响应时间的平均值为：(10s+12s+17s)÷3＝13s，则动态资源请求对应的响应时间阈值为13S。
需要说明的是，步骤S66和步骤S67之间没有必然的先后执行顺序，其也可以是并列执行的关系，此处不做限制。
在图6对应的实施例中，通过获取历史访问日志，检测历史访问日志中访问请求的访问类型，将访问类型为静态资源请求的历史访问日志存储到第一日志集中，以及将访问类型为动态资源请求的历史访问日志存储到第二日志集中，计算第一日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为静态资源请求对应的响应时间阈值，计算第二日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为动态资源请求对应的响应时间阈值。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种异常流量的检测装置，该异常流量的检测装置与上述实施例中异常流量的检测方法一一对应。如图7所示，该异常流量的检测装置包括：样本筛选模块71、模型构建模块72、流量预测模块73、阈值设置模块74、流量采集模块75、日志查询模块76和异常告警模块77。各功能模块详细说明如下：
样本筛选模块71，用于从预设的流量信息库中获取监控对象的历史流量数据，并对历史流量数据进行筛选处理，获取目标流量数据；
模型构建模块72，用于对目标流量数据进行回归分析，建立流量预测模型；
流量预测模块73，用于使用流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果；
阈值设置模块74，用于按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值；
流量采集模块75，用于获取监控对象的实时流量数据；
日志查询模块76，用于若实时流量数据大于流量告警阈值，则从预设的日志库中，获取监控对象的实时访问日志，其中，该实时访问日志包括访问请求和访问请求的响应时间；
异常告警模块77，用于若实时访问日志的响应时间大于预设的响应时间阈值，则进行异常流量告警。
进一步地，该异常流量的检测装置还包括：
预测值获取模块751，用于根据实时流量数据的获取时间，从预测结果中，获取与实时流量数据对应的预测流量数据；
偏差值计算模块752，用于计算实时流量数据与预测流量数据之间的偏差值；
异常等级确定模块753，用于根据偏差值在预设的异常等级定义表中进行查询，确认监控对象的流量数据的异常等级，并根据异常等级对应的预设告警策略进行告警处理。
进一步地，样本筛选模块71包括：
数据获取子模块7101，用于从预设的流量信息库中获取监控对象的历史流量数据，其中，该监控对象包括N台服务器，N为正整数，历史流量数据包括服务器标识和监控时间；
数据分类子模块7102，用于将包含相同的服务器标识的历史流量数据保存到同一流量数据集中，得到N个流量数据集；
数据排序子模块7103，用于针对每个流量数据集，按照历史流量数据的监控时间的时间顺序，对每个流量数据集中的历史流量数据进行排序，构建每台服务器的流量时序数据；
数据统计子模块7104，用于根据N台服务器的流量时序数据，计算在同一时间下监控对象的流量特征数据，其中，该流量特征数据包括最大流量值、最小流量值和平均流量值；
样本确定子模块7105，用于获取满足预设的样本要求的流量特征数据作为目标流量数据。
进一步地，该异常流量的检测装置还包括：
类型查询模块761，用于获取实时访问日志中访问请求的访问类型，其中，该访问类型包括静态资源请求和动态资源请求；
第一设置模块762，用于若访问类型为静态资源请求，则将静态资源请求对应的响应时间阈值作为预设的响应时间阈值；
第二设置模块763，用于若访问类型为动态资源请求，则将动态资源请求对应的响应时间阈值作为预设的响应时间阈值。
进一步地，该异常流量的检测装置还包括：
日志获取模块764，用于从预设的日志库中，获取历史访问日志，其中，该历史访问日志包括访问请求和访问请求的响应时间；
日志分类模块765，用于检测历史访问日志中访问请求的访问类型，将访问类型为静态资源请求的历史访问日志存储到第一日志集中，以及将访问类型为动态资源请求的历史访问日志存储到第二日志集中；
第一计算模块766，用于计算第一日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为静态资源请求对应的响应时间阈值；
第二计算模块767，用于计算第二日志集中的历史访问日志的响应时间的平均值，并将该计算得到的平均值作为动态资源请求对应的响应时间阈值。
关于异常流量的检测装置的具体限定可以参见上文中对于异常流量的检测方法的限定，在此不再赘述。上述异常流量的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常流量的检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例异常流量的检测方法中的步骤，例如图2所示的步骤S10至步骤S70，或者，处理器执行计算机程序时实现上述实施例中异常流量的检测装置的各模块的功能，例如图7所示模块71至模块77的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例异常流量的检测方法中的步骤，例如图2所示的步骤S10至步骤S70，或者，处理器执行计算机程序时实现上述实施例中异常流量的检测装置的各模块的功能，例如图7所示模块71至模块77的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常流量的检测方法，其特征在于，所述异常流量的检测方法包括：
从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；
对所述目标流量数据进行回归分析，建立流量预测模型；
使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；
获取所述预测结果中的预测流量数据与网络流量数据，基于所述预测流量数据与网络流量数据，计算得到单位时间内的网络流量数据的泊松分布的概率；
计算流量告警阈值，使得在网络流量数据小于所述流量告警阈值下所有泊松分布的概率的和等于单位时间内的网络流量数据的泊松分布的概率；
获取所述监控对象的实时流量数据；
若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；
若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。
2.如权利要求1所述的异常流量的检测方法，其特征在于，在所述获取所述监控对象的实时流量数据之后，所述异常流量的检测方法还包括：
根据所述实时流量数据的获取时间，从所述预测结果中，获取与所述实时流量数据对应的预测流量数据；
计算所述实时流量数据与所述预测流量数据之间的偏差值；
根据所述偏差值在预设的异常等级定义表中进行查询，确认所述监控对象的流量数据的异常等级，并根据所述异常等级对应的预设告警策略进行告警处理。
3.如权利要求1或2所述的异常流量的检测方法，其特征在于，所述从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据包括：
从预设的流量信息库中获取所述监控对象的历史流量数据，其中，所述监控对象包括N台服务器，N为正整数，所述历史流量数据包括服务器标识和监控时间；
将包含相同的所述服务器标识的历史流量数据保存到同一流量数据集中，得到N个所述流量数据集；
针对每个所述流量数据集，按照所述历史流量数据的所述监控时间的时间顺序，对每个所述流量数据集中的所述历史流量数据进行排序，构建每台所述服务器的流量时序数据；
根据N台所述服务器的流量时序数据，计算在同一时间下所述监控对象的流量特征数据，其中，所述流量特征数据包括最大流量值、最小流量值和平均流量值；
获取满足预设的样本要求的所述流量特征数据作为所述目标流量数据。
4.如权利要求1所述的异常流量的检测方法，其特征在于，在所述若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志之后，并且在所述若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警之前，所述异常流量的检测方法还包括：
获取所述实时访问日志中所述访问请求的访问类型，其中，所述访问类型包括静态资源请求和动态资源请求；
若所述访问类型为所述静态资源请求，则将所述静态资源请求对应的响应时间阈值作为所述预设的响应时间阈值；
若所述访问类型为所述动态资源请求，则将所述动态资源请求对应的响应时间阈值作为所述预设的响应时间阈值。
5.如权利要求4所述的异常流量的检测方法，其特征在于，在所述若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警之前，所述异常流量的检测方法还包括：
从所述预设的日志库中，获取历史访问日志，其中，所述历史访问日志包括所述访问请求和所述访问请求的所述响应时间；
检测所述历史访问日志中所述访问请求的访问类型，将所述访问类型为所述静态资源请求的历史访问日志存储到第一日志集中，以及将所述访问类型为所述动态资源请求的历史访问日志存储到第二日志集中；
计算所述第一日志集中的所述历史访问日志的所述响应时间的平均值，并将该计算得到的平均值作为所述静态资源请求对应的响应时间阈值；
计算所述第二日志集中的所述历史访问日志的所述响应时间的平均值，并将该计算得到的平均值作为所述动态资源请求对应的响应时间阈值。
6.一种异常流量的检测装置，其特征在于，所述异常流量的检测装置包括：
样本筛选模块，用于从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；
模型构建模块，用于对所述目标流量数据进行回归分析，建立流量预测模型；
流量预测模块，用于使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；
阈值设置模块，用于获取所述预测结果中的预测流量数据与网络流量数据，基于所述预测流量数据与网络流量数据，计算所述网络流量数据的泊松分布信息；
根据所述预测流量数据与网络流量数据，计算所述网络流量数据在所述预测流量数据中的概率分布信息，根据所述概率分布信息，根据所述概率分布信息与所述泊松分布信息，通过统计分析，计算监控对象的流量告警阈值；
流量采集模块，用于获取所述监控对象的实时流量数据；
日志查询模块，用于若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；
异常告警模块，用于若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。
7.如权利要求6所述的异常流量的检测装置，其特征在于，所述异常流量的检测装置还包括：
预测值获取模块，用于根据所述实时流量数据的获取时间，从所述预测结果中，获取与所述实时流量数据对应的预测流量数据；
偏差值计算模块，用于计算所述实时流量数据与所述预测流量数据之间的偏差值；
异常等级确定模块，用于根据所述偏差值在预设的异常等级定义表中进行查询，确认所述监控对象的流量数据的异常等级，并根据所述异常等级对应的预设告警策略进行告警处理。
8.如权利要求6或7所述的异常流量的检测装置，其特征在于，所述样本筛选模块包括：
数据获取子模块，用于从预设的流量信息库中获取所述监控对象的历史流量数据，其中，所述监控对象包括N台服务器，N为正整数，所述历史流量数据包括服务器标识和监控时间；
数据分类子模块，用于将包含相同的所述服务器标识的历史流量数据保存到同一流量数据集中，得到N个所述流量数据集；
数据排序子模块，用于针对每个所述流量数据集，按照所述历史流量数据的所述监控时间的时间顺序，对每个所述流量数据集中的所述历史流量数据进行排序，构建每台所述服务器的流量时序数据；
数据统计子模块，用于根据N台所述服务器的流量时序数据，计算在同一时间下所述监控对象的流量特征数据，其中，所述流量特征数据包括最大流量值、最小流量值和平均流量值；
样本确定子模块，用于获取满足预设的样本要求的所述流量特征数据作为所述目标流量数据。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述异常流量的检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述异常流量的检测方法的步骤。
CN201910208510.0A 2019-03-19 2019-03-19 异常流量的检测方法、装置、计算机设备及存储介质 Active CN110086649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910208510.0A CN110086649B (zh) 2019-03-19 2019-03-19 异常流量的检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910208510.0A CN110086649B (zh) 2019-03-19 2019-03-19 异常流量的检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110086649A CN110086649A (zh) 2019-08-02
CN110086649B true CN110086649B (zh) 2023-06-16

Family

ID=67413311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910208510.0A Active CN110086649B (zh) 2019-03-19 2019-03-19 异常流量的检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110086649B (zh)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677386A (zh) * 2019-08-29 2020-01-10 北京孚耐尔科技有限公司 一种基于大数据的异常流量监测和预测方法及装置
CN110544130A (zh) * 2019-09-05 2019-12-06 广州时代数据服务有限公司 流量异动监测方法、装置、计算机设备和存储介质
CN110635947A (zh) * 2019-09-20 2019-12-31 曹严清 异常访问监测方法及装置
CN110688244B (zh) * 2019-09-29 2023-05-26 北京金山安全软件有限公司 一种交互功能检测方法、装置及电子设备
CN110717605B (zh) * 2019-10-10 2023-10-13 腾讯科技（深圳）有限公司 基于区块链的访问信息处理方法及装置
CN111181799B (zh) * 2019-10-14 2023-04-18 腾讯科技（深圳）有限公司 一种网络流量监控方法及设备
CN110888788A (zh) * 2019-10-16 2020-03-17 平安科技（深圳）有限公司 异常检测方法、装置、计算机设备及存储介质
CN110880984B (zh) * 2019-10-18 2022-12-27 平安科技（深圳）有限公司 基于模型的流量异常监测方法、装置、设备及存储介质
CN110830464B (zh) * 2019-10-31 2021-06-29 深圳市高德信通信股份有限公司 一种网络流量异常检测系统
CN112825164A (zh) * 2019-11-20 2021-05-21 顺丰科技有限公司 一种预测数据异常检测方法、装置、设备及存储介质
CN111064635B (zh) * 2019-12-10 2021-07-27 中盈优创资讯科技有限公司 一种异常流量的监视方法及系统
CN111078974A (zh) * 2019-12-10 2020-04-28 苏州朗动网络科技有限公司 实时检测新闻量异常的方法、设备和存储介质
CN111181923A (zh) * 2019-12-10 2020-05-19 中移（杭州）信息技术有限公司 流量检测方法、装置、电子设备及存储介质
CN111147899B (zh) * 2019-12-16 2023-05-23 南京亚信智网科技有限公司 一种故障预警方法及装置
CN111082985A (zh) * 2019-12-16 2020-04-28 厦门大学附属第一医院 基于开放平台的api接口监测方法
CN111130932B (zh) * 2019-12-18 2021-10-19 北京浩瀚深度信息技术股份有限公司 一种基于历史流量预测流量趋势的方法、装置及存储介质
CN111130940A (zh) * 2019-12-26 2020-05-08 众安信息技术服务有限公司 异常数据检测方法、装置及服务器
CN111163092A (zh) * 2019-12-30 2020-05-15 深信服科技股份有限公司 流量异常检测方法、装置、设备及存储介质
CN111200655A (zh) * 2019-12-31 2020-05-26 北京奇才天下科技有限公司 一种基于代理服务器的内网访问方法、系统、电子设备
CN111181812B (zh) * 2020-01-03 2022-04-08 四川新网银行股份有限公司 基于网络流量的链路故障检测方法
CN111245684B (zh) * 2020-01-13 2021-12-21 智者四海（北京）技术有限公司 流量调度方法和装置、电子设备、计算机可读介质
CN110995769B (zh) * 2020-02-27 2020-06-05 上海飞旗网络技术股份有限公司 深度数据包检测方法及装置
CN113364602A (zh) * 2020-03-03 2021-09-07 阿里巴巴集团控股有限公司 一种触发页面故障报警的方法、装置和存储介质
CN111555974B (zh) * 2020-03-19 2023-05-02 视联动力信息技术股份有限公司 一种数据包的处理方法、装置、终端设备和存储介质
CN111447193B (zh) * 2020-03-23 2022-11-04 网宿科技股份有限公司 一种针对实时数据流进行异常检测的方法及装置
CN111416744B (zh) * 2020-03-24 2023-06-06 北京百度网讯科技有限公司 互联网线上监控报警的方法及装置
CN111444151B (zh) * 2020-03-30 2022-04-15 至本医疗科技（上海）有限公司 数据监控方法、装置、计算机设备和存储介质
CN111459761B (zh) * 2020-04-01 2024-03-01 广州虎牙科技有限公司 一种Redis配置的方法、装置、存储介质及设备
CN111614634B (zh) * 2020-04-30 2024-01-23 腾讯科技（深圳）有限公司 流量检测方法、装置、设备及存储介质
CN111563111A (zh) * 2020-05-12 2020-08-21 北京思特奇信息技术股份有限公司 告警方法、装置、电子设备及存储介质
CN111726341B (zh) * 2020-06-02 2022-10-14 五八有限公司 一种数据检测方法、装置、电子设备及存储介质
CN111817875B (zh) * 2020-06-03 2022-06-28 华为技术有限公司 检测网络故障的方法和装置
CN111817909B (zh) * 2020-06-12 2022-01-21 中国船舶重工集团公司第七二四研究所 一种基于行为集合模板监测的设备健康管理方法
CN111953601B (zh) * 2020-07-03 2022-01-18 黔南热线网络有限责任公司 一种站群管理方法及系统
CN111817923B (zh) * 2020-07-28 2021-09-14 城云科技（中国）有限公司 交换机端口流量突变的预警分析方法和装置
CN113297307B (zh) * 2020-08-15 2024-03-05 阿里巴巴集团控股有限公司 数据库请求识别、异常检测方法、装置、设备及介质
CN111970205B (zh) * 2020-08-21 2023-02-21 中国工商银行股份有限公司 网关接口流量控制方法及系统
CN112165471B (zh) * 2020-09-22 2022-05-24 杭州安恒信息技术股份有限公司 一种工控系统流量异常检测方法、装置、设备及介质
CN112149036B (zh) * 2020-09-28 2023-11-10 微梦创科网络科技（中国）有限公司 一种批量非正常互动行为的识别方法及系统
CN112260858A (zh) * 2020-09-30 2021-01-22 福建天泉教育科技有限公司 一种可自动化检测的告警方法及终端
CN112511369B (zh) * 2020-10-19 2022-06-03 苏州浪潮智能科技有限公司 一种流量突变监测方法、装置及存储介质
CN112256543A (zh) * 2020-10-20 2021-01-22 福建奇点时空数字科技有限公司 一种基于流量数据感知的服务器异常行为分析与告警方法
CN112291225A (zh) * 2020-10-23 2021-01-29 翼集分电子商务(上海)有限公司 一种应用于积分系统的大数据异常流量检测方法和系统
CN112491589B (zh) * 2020-11-09 2023-01-24 苏州浪潮智能科技有限公司 一种对象存储网络预警方法、系统、终端及存储介质
CN112291258B (zh) * 2020-11-12 2023-03-21 杭州比智科技有限公司 网关风险控制方法及装置
CN112511384B (zh) * 2020-11-26 2022-09-02 广州品唯软件有限公司 流量数据处理方法、装置、计算机设备和存储介质
CN112543152A (zh) * 2020-12-08 2021-03-23 贝壳技术有限公司 自适应调整服务超时时间的方法和装置
CN112637021A (zh) * 2020-12-31 2021-04-09 中国建设银行股份有限公司 一种基于线性回归算法的动态流量监控方法和装置
CN112749410B (zh) * 2021-01-08 2022-02-25 广州锦行网络科技有限公司 一种数据库安全保护方法及装置
CN112632347B (zh) * 2021-01-14 2024-01-23 加和（北京）信息科技有限公司 数据筛选控制方法及装置、非易失性存储介质
CN112994978B (zh) * 2021-02-25 2023-01-24 网宿科技股份有限公司 一种网络流量监测方法及装置
CN113852591B (zh) * 2021-06-08 2023-09-22 天翼数字生活科技有限公司 基于改进四分位差法的摄像头异常访问识别与告警方法
CN113364878B (zh) * 2021-06-17 2022-11-29 北京百度网讯科技有限公司 数据调度方法及其装置、电子设备以及存储介质
CN113343064B (zh) * 2021-06-18 2023-07-28 北京百度网讯科技有限公司 数据处理方法、装置、设备、存储介质以及计算机程序产品
CN113542236A (zh) * 2021-06-28 2021-10-22 中孚安全技术有限公司 一种基于核密度估计和指数平滑算法的异常用户检测方法
CN113342502B (zh) * 2021-06-30 2023-01-20 招商局金融科技有限公司 数据湖的性能诊断方法、装置、计算机设备及存储介质
CN113691498B (zh) * 2021-07-23 2023-03-14 全球能源互联网研究院有限公司 一种电力物联终端安全状态评估方法、装置及存储介质
CN113612656A (zh) * 2021-07-26 2021-11-05 招商银行股份有限公司 网络流量检测方法、装置、终端设备及存储介质
CN113595784A (zh) * 2021-07-26 2021-11-02 招商银行股份有限公司 网络流量检测方法、装置、设备、存储介质及程序产品
CN113312244A (zh) * 2021-07-28 2021-08-27 阿里云计算有限公司 一种故障监测方法、设备、程序产品及存储介质
CN113329037B (zh) * 2021-08-02 2021-11-16 平安科技（深圳）有限公司 基于高维模式的异常访问数据预警方法及相关设备
CN113890837B (zh) * 2021-09-13 2023-03-24 浪潮通信信息系统有限公司 基于滑动窗口交叉算法预测指标劣化的方法及系统
CN114200877B (zh) * 2021-11-12 2024-02-27 珠海大横琴科技发展有限公司 一种用电设备的监控方法和装置
CN114235108B (zh) * 2021-12-24 2023-08-15 华中科技大学无锡研究院 基于数据分析燃气流量计异常状态检测方法和装置
CN114460890B (zh) * 2022-02-08 2023-03-17 南京城建隧桥智慧管理有限公司 一种无人值守配电房的远程监控系统及方法
CN114531374B (zh) * 2022-02-25 2023-08-25 深圳平安智慧医健科技有限公司 网络监控方法、装置、设备及存储介质
CN114826893B (zh) * 2022-03-04 2024-01-30 中信银行股份有限公司 异常访问流量的预警方法、装置、设备及可读存储介质
CN114726432B (zh) * 2022-03-15 2024-02-02 中国人民解放军国防科技大学 天基智联网络智能时钟控制与管理方法
CN114553733B (zh) * 2022-04-26 2022-07-26 江苏电保姆电力服务有限公司 一种基于人工智能的智能网关监控管理系统及方法
CN114666210B (zh) * 2022-05-23 2022-08-16 江苏金融租赁股份有限公司 基于大数据日志分析的告警方法及装置
CN115277150B (zh) * 2022-07-21 2024-04-12 格尔软件股份有限公司 异常访问行为分析方法、装置、计算机设备和存储介质
CN115776435B (zh) * 2022-10-24 2024-03-01 华能信息技术有限公司 一种基于api网关的预警方法
CN115408250B (zh) * 2022-11-02 2023-01-31 南京欣华软件技术有限公司 一种基于智慧校园的多源数据采集分析系统及方法
CN115811486A (zh) * 2022-12-08 2023-03-17 柳州达迪通信技术股份有限公司 一种数据流量异常值监测方法、系统、装置及存储介质
CN116389108B (zh) * 2023-04-03 2023-10-10 杭州诺禾网络科技有限公司 Ab实验方法、系统与存储介质
CN116132337B (zh) * 2023-04-04 2023-06-13 深圳行云创新科技有限公司 一种基于服务网格技术的接口流量异常检测方法
CN116610536A (zh) * 2023-07-20 2023-08-18 金篆信科有限责任公司 业务系统模块处理耗时检测方法、装置、设备及存储介质
CN116723138B (zh) * 2023-08-10 2023-10-20 杭银消费金融股份有限公司 一种基于流量探针染色的异常流量监控方法及系统
CN117201090A (zh) * 2023-08-28 2023-12-08 山东亚泽信息技术有限公司 一种异常行为检测处理方法及系统
CN117435131B (zh) * 2023-10-09 2024-03-29 国家电网有限公司 基于城市电力设备监测的大数据存储方法、装置和介质
CN117319047A (zh) * 2023-10-09 2023-12-29 北京易财花科技有限公司 一种基于网络安全异常检测的网络路径分析方法及系统
CN117118907B (zh) * 2023-10-25 2024-02-02 深圳市亲邻科技有限公司 一种门禁流量动态监测系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617512A (zh) * 2004-11-25 2005-05-18 中国科学院计算技术研究所 一种自适应网络流量预测和异常报警方法
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN108537544A (zh) * 2018-04-04 2018-09-14 中南大学 一种交易系统实时监控方法及其监控系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617512A (zh) * 2004-11-25 2005-05-18 中国科学院计算技术研究所 一种自适应网络流量预测和异常报警方法
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN108537544A (zh) * 2018-04-04 2018-09-14 中南大学 一种交易系统实时监控方法及其监控系统

Also Published As

Publication number Publication date
CN110086649A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110086649B (zh) 异常流量的检测方法、装置、计算机设备及存储介质
CN110113224B (zh) 容量监控方法、装置、计算机设备及存储介质
CN110752942B (zh) 告警信息的决策方法、装置、计算机设备及存储介质
CN110138837B (zh) 请求处理方法、装置、计算机设备和存储介质
CN110493190B (zh) 数据信息的处理方法、装置、计算机设备和存储介质
CN110995468A (zh) 待分析系统的系统故障处理方法、装置、设备和存储介质
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN111355610A (zh) 一种基于边缘网络的异常处理方法及装置
CN109634756B (zh) 页面事件处理方法、装置、计算机设备及存储介质
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN111193608B (zh) 网络质量探测监控方法、装置、系统和计算机设备
KR20190096706A (ko) 서비스 연관성 추적을 통한 시스템 이상 징후 모니터링 방법 및 시스템
CN112732536A (zh) 数据监控告警方法、装置、计算机设备及存储介质
CN111143163A (zh) 数据监控方法、装置、计算机设备和存储介质
CN113988565A (zh) 一种建筑施工质量安全在线风险管理方法及系统
KR20170084445A (ko) 시계열 데이터를 이용한 이상 감지 방법 및 그 장치
CN113407371A (zh) 数据异常监测方法、装置、计算机设备和存储介质
US10268505B2 (en) Batch job frequency control
CN115529595A (zh) 一种日志数据的异常检测方法、装置、设备及介质
CN115421950A (zh) 一种基于机器学习的自动化系统运维管理方法及系统
CN113992602B (zh) 一种电缆监测数据上传方法、装置、设备以及存储介质
CN113342588A (zh) 基于动态调整负荷对服务器进行压力测试的方法和装置
CN113419950A (zh) Ui自动化脚本的生成方法、装置、计算机设备及存储介质
CN113821933A (zh) App流量预测方法、装置、计算机设备及存储介质
CN115934487A (zh) 日志监控告警方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant