CN110753041A - 基于cdn系统的源站状态检测方法以及设备 - Google Patents
基于cdn系统的源站状态检测方法以及设备 Download PDFInfo
- Publication number
- CN110753041A CN110753041A CN201910942665.7A CN201910942665A CN110753041A CN 110753041 A CN110753041 A CN 110753041A CN 201910942665 A CN201910942665 A CN 201910942665A CN 110753041 A CN110753041 A CN 110753041A
- Authority
- CN
- China
- Prior art keywords
- source station
- flow
- flow rate
- historical
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 10
- 238000001595 flow curve Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000007123 defense Effects 0.000 claims description 121
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 20
- 238000005070 sampling Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种基于内容分发网络CDN系统的源站状态检测方法以及装置,包括:接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。上述方案能够预测源站的流量曲线,从而更好的抵御攻击报文。
Description
技术领域
本申请涉及IT领域,尤其涉及一种基于内容分发网络CDN系统的源站状态检测方法以及设备。
背景技术
内容分发网络(content delivery network,CDN)是指利用分布在不同区域的节点服务器群组成流量分配管理网络平台,为用户提供内容的分散存储和高速缓存,并根据网络动态流量和负载状况,将内容分发到快速、稳定的缓存服务器上,提高用户内容的访问响应速度和服务的可用性服务。内容提供商可以通过CDN为用户提供大量的内容,例如,视频、音频以及文字等等,并通过广告或者收取内容播放费的形式进行盈利。其中,内容可以是视频、音频以及文字等等。
本领域的技术人员在长期研究下发现,在现有技术条件下,客户端很容易通过CDN对源站进行攻击。
发明内容
为了解决上述问题,本申请提供了一种基于内容分发网络CDN系统的源站状态检测方法以及设备,能够预测源站的流量曲线,从而更好的抵御攻击报文。
第一方面,提供了一种基于内容分发网络CDN系统的源站状态检测方法,其特征在于,包括:
接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
接收所述源站发送实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
在一些可能的设计中,所述接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的工作状态是否正常,包括:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常。
在一些可能的设计中,在确认所述源站的当前工作状态异常之后,所述方法还包括:
确认所述流量信息中记录的流量值是否超过所述源站的承受能力,如果否,发送告警信息,如果是,通知所述CDN系统中的节点丢弃所述源站的报文。
在一些可能的设计中,所述接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的工作状态是否正常,包括:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
在一些可能的设计中,所述日志信息还记录有所述源站的业务类型信息,在接收所述源站发送的实时流量信息之后,所述方法还包括:
判断所述实时流量信息中记录的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,如果是,确认所述源站的当前工作状态正常,如果否,确认所述源站的当前工作状态异常。
第二方面,提供了一种智能防御设备,包括:接收模块、预测模块以及确认模块,
所述接收模块用于接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
所述预测模块用于根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
所述确认模块用于接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
在一些可能的设计中,所述确认模块还用于:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常。
在一些可能的设计中,所述装置还包括告警模块,所述告警模块用于确认所述流量信息中记录的流量值是否超过所述源站的承受能力,在没有超过所述源站的承受能力的情况下,发送告警信息,在超过所述源站的承受能力的情况下,通知所述CDN系统中的节点丢弃所述源站的报文。
在一些可能的设计中,所述确认模块用于获取当前时刻在所述流量曲线中对应的预测流量值;在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
在一些可能的设计中,所述确认模块用于判断所述实时流量信息中记录的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,在业务类型信息一致的情况下,确认所述源站的当前工作状态正常,在业务类型不一致的情况下,确认所述源站的当前工作状态异常。
第三方面,提供了一种智能防御设备,包括:处理器和存储器,所述处理器执行所述存储器中的代码执行如第一方面任一项所述的方法。
第四方面,提供了一种可读存储介质,其特征在于,包括指令,当所述指令在智能防御设备上运行时,使得所述智能防御设备执行如第一方面任一项所述的方法。
第五方面,提供了一种计算机程序产品,当所述计算机程序产品被计算机读取并执行时,如第一方面任一项述的方法将被执行。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请涉及的一种内容分发网络的结构示意图;
图2是本申请涉及的一种内容分发网络中客户端向源站节点请求内容数据的示意图;
图3是本申请涉及的一种云服务的示意图;
图4是本申请涉及的一种云CDN的结构示意图;
图5是本申请提供的另一种云CDN的结构示意图;
图6是本申请提供的一种基于内容分发网络CDN系统的源站状态检测方法的流程示意图;
图7是本申请中在工作日、周末以及大假期三种情况下的源站1和源站2的流量曲线的示意图;
图8是本申请提供的一种深度神经网络的结构示意图;
图9是本申请提供的一种智能防御设备的结构示意图;
图10是本申请提供的另一种智能防御设备的结构示意图。
具体实施方式
参见图1,图1是本申请涉及的一种内容分发网络(content delivery network,CDN)的结构示意图。CDN系统包括源站节点10、控制平台20、内容分发网络CDN、客户端101-105。其中,内容分发网络CDN包括中心缓存节点60-61以及边缘缓存节点70-74。
客户端101-105通常是用户私人的设备,用于供用户使用以访问源站节点10的内容数据。举例来说,终端设备可以是智能手机、平板电脑、台式计算机、车载设备以及可穿戴设备等等,此处不作具体限定。
源站节点10通常设置在远离客户端101-105的数据中心,用于存储大量的内容数据。举例来说,源站节点10可以是提供娱乐、体育、新闻或者影视等等视频观看或下载的网站的节点,可以是提供音乐或者书籍等等的音频播放的网站的节点,可以是提供新闻、文章以及书籍等等文字阅读的网站的节点等等,此处不作具体限定。
中心缓存节点是边缘缓存节点73-74的上级节点,同时,中心缓存节点60-61也是源站节点10的下级节点,也就是说,中心缓存节点可以在边缘缓存节点和中心缓存节点之间起到承上启下的作用。
边缘缓存节点70-74,也可以称之为代理缓存(surroigate),距离终端设备仅有“一跳”(single hop)之遥,用于缓存源站节点10下发给边缘缓存节点70-74的内容数据,以便客户端101-105的就近访问。具体地来说,边缘缓存节点70-74中存储了源站节点10的镜像,并且,边缘缓存节点70-74通常设置于网络边缘,因此,边缘缓存节点70-74可以代替源站节点10向客户端101-105提供内容数据,从而实现内容数据的边缘存储和传播,解决网络拥挤的状况,提高客户端101-105访问源站节点10的响应速度。
为了保证数据能够尽快从边缘缓存节点70-74发送到客户端101-105,边缘缓存节点70-74和客户端101-105必须遵循以下设置。
边缘缓存节点70-74设置在不同的地域。举例而言,边缘缓存节点70可设置在华南地区,边缘缓存节点71设置在华中地区,边缘缓存节点72设置在华西地区,边缘缓存节点73设置在华北地区,边缘缓存节点74设置在华东地区。
客户端101-105设置在不同的地域。举例而言,客户端101可设置在华南地区,客户端102设置在华中地区,客户端103设置在华西地区,客户端104设置在华北地区,客户端105设置在华东地区。
也就是说,客户端101位于华南地区,因此客户端101与边缘缓存节点70在同一区域,两者的距离最近;客户端102位于华中地区,因此客户端102与边缘缓存节点71在同一区域,两者的距离最近;客户端103位于华西地区,因此客户端103与边缘缓存节点72在同一区域,两者的距离最近;客户端104位于华北地区,因此客户端104与边缘缓存节点73在同一区域,两者的距离最近;客户端105位于华东地区,因此客户端105与边缘缓存节点74在同一区域,两者的距离最近。
在其他实施例中,源站节点的数量不仅限于2个,可以是其他正整数,中心缓存节点的数量不仅限于2个,可以是其他正整数,边缘缓存缓存节点的数量也不限于5个,可以是其他正整数,此次不作具体限定。
参见图2,图2是本申请涉及的一种CDN的内容数据的请求流程的示意图。在图1所示的CDN的基础上,如图2所示,本申请的CDN的内容数据的请求流程包括如下步骤:
S101:客户端向边缘缓存节点发送请求报文。相应地,边缘缓存节点接收客户端发送的请求报文。其中,所述请求报文用于供客户端向源站节点请求源站中的内容数据。
S102:边缘缓存节点判断自身是否缓存了所述请求报文所请求的源站中的内容数据,如果是,进入步骤S103,如果不是,进入步骤S104。
S103:边缘缓存节点将所述请求报文所请求的内容数据,并结束流程。
S104:边缘缓存节点向源站节点发送请求报文。相应地,源站节点接收边缘缓存节点发送的请求报文。其中,所述请求报文用于供边缘缓存节点向源站节点请求源站中的内容数据。
S105:源站节点向所述边缘缓存节点发送所述内容数据。相应地,边缘缓存节点接收源站节点发送的所述内容数据。
S106:边缘缓存节点向客户端发送所述源站中的内容数据。相应地,客户端接收边缘缓存节点发送的所述源站中的内容数据,并结束流程。
可以理解的是,图1中的任意一个客户端向图1中的任意一个对应的源站节点请求内容数据时,都遵循上述的请求流程,此处不再展开说明。
参见图3,图3是本申请涉及的一种云服务的示意图。云的拥有者自己部署云计算基础设施,即,部署计算资源(例如,服务器)110、部署存储资源(例如,存储器)120以及部署网络资源(例如,网卡)130等等。然后,公有云的拥有者(例如,运营商)将云计算基础设施的计算资源、存储资源、网络资源进行虚拟化,并提供相应的服务给云的使用者(例如,用户)使用。其中,运营商可以提供以下三种服务给用户使用:云计算基础设施即服务(Infrastructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)以及软件即服务(Software as a Service,SaaS)。
IaaS提供给用户的服务是对云计算基础设施的利用,包括处理、存储、网络和其它基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序。用户不管理或控制任何云计算基础设施,但能控制操作系统的选择、储存空间、部署应用,也有可能获得有限制的网络组件(例如,防火墙,负载均衡器等)的控制。
PaaS提供给用户的服务是把用户采用供应商提供的开发语言和工具(例如Java,python,Net等)开发的或收购的应用程序部署到云计算基础设施上去。用户不需要管理或控制底层的云计算基础设施,包括网络、服务器、操作系统、存储等,但用户能控制部署的应用程序,也可能控制运行应用程序的托管环境配置。
SaaS提供给用户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面,如浏览器,访问云计算基础设施上的应用程序。用户不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等等。
可以理解,运营商通过IaaS、PaaS、SaaS中的任意一种为不同的租户进行租赁服务,不同租户之间数据和配置是相互隔离的,从而保证每个租户数据的安全与隐私。
参见图4,图4是本申请涉及的一种云CDN的结构示意图。本实施方式的云CDN是在图2所示的云服务的基础上实现图1所示的CDN。云计算基础设施的租户是内容提供商,内容提供商将自己的源站设置于云计算基础设施(包括:计算资源、存储资源、网络资源)之上,可以利用存储虚拟化技术灵活地为租户提供存储方案,从而更好地将该租户的源站节点中的内容数据进行存储,可以利用网络虚拟化技术灵活地为租户提供流量方案,从而更好地将该租户的源站的内容数据进行传输,可以利用服务器虚拟化技术灵活地为租户提供计算能力方案,从而更好地对该租户的源站的内容数据进行管理。
在一具体的实施例中,云CDN为多租户、多源站的场景。也就是说,云CDN可以包括多个租户,每个租户可以包括一个源站节点或者多个源站节点,每个源站节点可以设置一个或者多个源站。以图4所示的云CDN为例,租户1可以是专门提供影视视频的内容提供商,租户可以设置一个专门的影视视频的源站节点,即,源站节点10,以为用户提供影视视频。租户2可以是提供多种内容的内容提供商,租户可以设置一个专门的书籍的源站节点,即源站节点11,以为用户提供书籍阅读,一个专门的时事的源站节点,即源站节点12,以为用户提供时事资讯。
在其他实施例中,租户的数量不仅限于2个,可以是其他正整数,源站节点的数量不仅限于3个,可以是其他正整数,中心缓存节点的数量不仅限于2个,可以是其他正整数,边缘缓存缓存节点的数量也不限于5个,可以是其他正整数,此次不作具体限定。
为了防止遭受攻击报文的攻击,现有技术在客户端和边缘缓存节点之间设置了防火墙,但是,防火墙只能简单地设置预设阈值,即,不同的源站,不同的时间点均使用同一预设阈值。但是,不同的源站的正常访问流量的差异非常大,例如,有些大型的源站的平均正常访问流量为20G,有些小型的平均正常访问流量为2G。另外,同一源站不同时间点的正常访问流量的差异也非常大,例如,源站在大假日的平均正常访问流量可达20G,在工作日的平均正常访问流量为2G,因此对于不同的源站和不同的时间点均采用同一预设阈值,会导致很多问题。下面将假设源站的预设阈值为5G,分别举例说明存在的问题:
(1)在工作日上午8点,源站的正常访问流量为1G,攻击流量为3G,但由于总流量没有到达5G,防火墙没法进行报警以及阻断。
(2)在在工作日晚上20点,源站的访问高峰期突然来临,正常访问流量突破5G,由于正常访问流量超过预设阈值,防火墙错误进行报警以及阻断。
(3)在大假期中午12点,源站的正常访问流量突破5G,由于正常访问流量超过预设阈值,防火墙错误进行报警以及阻断。
(4)源站节点经过扩容后的承受能力为8G,边缘缓存节点的承受能力为20G。在源站节点的正常访问流量超过1G,攻击流量为5G时,由于正常访问流量超过预设阈值,防火墙进行报警以及阻断,但是,实际上源站节点以及边缘缓存节点的承受能力大于正常访问流量和攻击流量之和,阻断会导致大量正常访问同样被阻断。
(5)源站节点经过扩容后的承受能力为3G,边缘缓存节点的承受能力为20G。在源站的正常访问流量超过1G,攻击流量为3G时,由于正常访问流量以及攻击流量之和没有超过预设阈值,防火墙不会进行报警以及阻断,但是,实际上源源站节点的承受能力小于正常访问流量以及攻击流量之和,不进行告警以及阻断会导致源站节点因为访问过载宕机。
为了解决上述问题,本申请提供了一种基于内容分发网络CDN系统的源站状态检测方法以及设备,能够能够预测源站的流量曲线,从而更好的抵御攻击报文。下面将分别进行详细的介绍。
参阅图5,图5是本申请提供的另一种云CDN的结构示意图。在本实施例中,运营商可以在图4所示的云CDN的基础上增设智能防御设备。从而得到如图5所示的云CDN。参阅图6,图6是本申请提供的一种基于内容分发网络CDN系统的源站状态检测方法的流程示意图。如图6所示,在图5所示的云CDN的基础上,本申请基于内容分发网络CDN系统的源站状态检测方法,包括如下步骤:
S201:智能防御设备接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
S202:智能防御设备根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
S203:智能防御设备接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
在本申请具体的实施方式中,智能防御设备获取当前时刻在所述流量曲线中对应的预测流量值;在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常;在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
在本申请具体的实施方式中,在确认所述源站的当前工作状态异常的情况下,智能防御设备的处理方式可以包括以下两种:(1)智能防御设备可以直接通知所述CDN系统中的节点丢弃所述源站的报文。(2)智能防御设备确认所述流量信息中记录的流量值是否超过所述源站的承受能力,如果否,发送告警信息,如果是,通知所述CDN系统中的节点丢弃所述源站的报文。其中,所述源站的承受能力由源站所在的源站节点的CPU,内存,网络带宽等各项的已使用率,以及,源站所在的源站节点的CPU,内存,网络带宽等各项的容量决定的。举个例子说明,尽管所述源站的预测流量值为3.2G,而当前的实际流量值为8G,但是,如果源站所在的源站节点能够承受20G的流量,则智能防御设备可以先发送告警信息,而不是通知所述CDN系统中的节点丢弃所述源站的报文,这样能够保证正常的业务可以不被中断,提高用户体验。
为了便于理解,下面将结合源站在工作日、周末以及大假期几种情况对源站1以及源站2的流量曲线的进行详细的说明。其中,工作日为正常上班以及上学的日子,周末为平时休息的日子,例如,周日,大假期通常指三天或者三天以上的公众假期,例如,圣诞节、春节以及国庆等等。
一、工作日
(1)源网站1的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的0点的历史流量为2.5G,以往的工作日2的0点的历史流量为2.3G,….,以往的工作日n的0点的历史流量为2.7G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的0点的预测流量值为2.55G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的4点的历史流量为0.71G,以往的工作日2的4点的历史流量为0.52G,….,以往的工作日n的4点的历史流量为0.57G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的4点的预测流量值为0.53G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的8点的历史流量为1.59G,以往的工作日2的8点的历史流量为1.62G,….,以往的工作日n的8点的历史流量为1.75G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的8点的预测流量值为1.63G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的12点的历史流量为20.5G,以往的工作日2的12点的历史流量为20.05G,….,以往的工作日n的0点的历史流量为22.43G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的0点的预测流量值为21.53G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的16点的历史流量为22.12G,以往的工作日2的16点的历史流量为18.45G,….,以往的工作日n的16点的历史流量为21.32G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的16点的预测流量值为21.28G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的20点的历史流量为23.52G,以往的工作日2的20点的历史流量为25.38G,….,以往的工作日n的20点的历史流量为23.05G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的20点的预测流量值为24.23G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的24点的历史流量为0.55G,以往的工作日2的24点的历史流量为0.62G,….,以往的工作日n的24点的历史流量为0.51G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站1在未来的工作日的24点的预测流量值为0.55G。
因此,如图7中(a)所示,所述源站1在未来的工作日的流量曲线可以是由上述预测值:2.55G、0.53G、1.63G、21.53G、21.28G、24.23G以及0.55G构成的曲线。
(2)源网站2的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的工作日1的0点的历史流量为0.19G,以往的工作日2的0点的历史流量为0.22G,….,以往的工作日n的0点的历史流量为0.09G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的0点的预测流量值为0.13G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的工作日1的4点的历史流量为0.07G,以往的工作日2的4点的历史流量为0.12G,….,以往的工作日n的4点的历史流量为0.15G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的4点的预测流量值为0.12G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的工作日1的8点的历史流量为0.82G,以往的工作日2的8点的历史流量为0.87G,….,以往的工作日n的8点的历史流量为0.95G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的8点的预测流量值为0.83G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的工作日1的12点的历史流量为2.49G,以往的工作日2的12点的历史流量为2.82G,….,以往的工作日n的12点的历史流量为1.79G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的12点的预测流量值为2.62G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的工作日1的16点的历史流量为1.63G,以往的工作日2的16点的历史流量为2.48G,….,以往的工作日n的16点的历史流量为2.19G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的16点的预测流量值为2.42G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站3在以往的工作日1的20点的历史流量为2.67G,以往的工作日2的30点的历史流量为3.56G,….,以往的工作日n的20点的历史流量为3.15G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的20点的预测流量值为3.26G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的工作日1的24点的历史流量为0.21G,以往的工作日2的0点的历史流量为0.17G,….,以往的工作日n的24点的历史流量为0.13G,于是,智能防御设备可以将上述数据输入工作日流量预测模型以预测源站2在未来的工作日的24点的预测流量值为0.15G。
因此,如图7中(b)所示,所述源站2在未来的工作日的流量曲线可以是由上述预测值:0.13G、0.12G、0.83G、2.62G、2.42G、3.26G以及0.15G构成的曲线。
二、周末
(1)源网站1的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的0点的历史流量为4.53G,以往的周末2的0点的历史流量为4.81G,….,以往的周末n的0点的历史流量为4.92G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的0点的预测流量值为4.78G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的4点的历史流量为2.45G,以往的周末2的4点的历史流量为2.83G,….,以往的周末n的4点的历史流量为2.51G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的4点的预测流量值为2.73G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的8点的历史流量为3.07G,以往的周末2的8点的历史流量为3.39G,….,以往的周末n的8点的历史流量为5.15G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的8点的预测流量值为4.15G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的12点的历史流量为24.75G,以往的周末2的12点的历史流量为27.55G,….,以往的周末n的0点的历史流量为22.48G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的0点的预测流量值为26.29G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的16点的历史流量为28.12G,以往的周末2的16点的历史流量为28.41G,….,以往的周末n的16点的历史流量为30.38G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测可以预测源站1在未来的周末的16点的预测流量值为29.25G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的20点的历史流量为35.25G,以往的周末2的20点的历史流量为38.38G,….,以往的周末n的20点的历史流量为37.08G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的20点的预测流量值为37.09G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的24点的历史流量为20.58G,以往的周末2的24点的历史流量为20.33G,….,以往的周末n的24点的历史流量为25.57G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站1在未来的周末的24点的预测流量值为23.88G。
因此,如图7中(c)所示,所述源站1在未来的周末的流量曲线可以是由上述预测值:5.77、2.68G、16.88G、33.75G、37.25G、40.77G以及26.66G构成的曲线。
(2)源网站2的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的周末1的0点的历史流量为1.85G,以往的周末2的0点的历史流量为0.99,….,以往的周末n的0点的历史流量为1.53,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的0点的预测流量值为1.01G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的周末1的4点的历史流量为0.53G,以往的周末2的4点的历史流量为0.75G,….,以往的周末n的4点的历史流量为1.01G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的4点的预测流量值为0.99G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的周末1的8点的历史流量为2.11G,以往的周末2的8点的历史流量为1.75G,….,以往的周末n的8点的历史流量为1.06G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的8点的预测流量值为1.83G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的周末1的12点的历史流量为3.69G,以往的周末2的12点的历史流量为2.52G,….,以往的周末n的12点的历史流量为3.72G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的12点的预测流量值为3.62G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的周末1的16点的历史流量为3.88G,以往的周末2的16点的历史流量为2.91G,….,以往的周末n的16点的历史流量为3.04G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的16点的预测流量值为3.76G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站3在以往的周末1的20点的历史流量为4.19G,以往的周末2的20点的历史流量为4.94G,….,以往的周末n的20点的历史流量为3.25G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的20点的预测流量值为4.85G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的周末1的24点的历史流量为2.16G,以往的周末2的0点的历史流量为1.88G,….,以往的周末n的24点的历史流量为1.79G,于是,智能防御设备可以将上述数据输入周末流量预测模型以预测源站2在未来的周末的24点的预测流量值为2.07G。
因此,如图7中(d)所示,所述源站2在未来的周末的流量曲线可以是由上述预测值:1.01G、0.99G、1.83G、3.62G、3.76G、4.85G以及2.07G构成的曲线。
三、大假期
(1)源网站1的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的0点的历史流量为5.06G,以往的大假期2的0点的历史流量为4.55G,….,以往的大假期n的0点的历史流量为6.12G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的0点的预测流量值为5.77G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的4点的历史流量为2.14G,以往的大假期2的4点的历史流量为2.08G,….,以往的大假期n的4点的历史流量为2.87G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的4点的预测流量值为2.68G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的8点的历史流量为15.85G,以往的大假期2的8点的历史流量为14.09G,….,以往的大假期n的8点的历史流量为17.11G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的8点的预测流量值为16.88G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的12点的历史流量为30.45G,以往的大假期2的12点的历史流量为35.22G,….,以往的大假期n的0点的历史流量为32.55G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的0点的预测流量值为33.75G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的16点的历史流量为34.12G,以往的大假期2的16点的历史流量为39.53G,….,以往的大假期n的16点的历史流量为38.06G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的16点的预测流量值为37.25G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的20点的历史流量为40.15G,以往的大假期2的20点的历史流量为38.66G,….,以往的大假期n的20点的历史流量为42.43G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的20点的预测流量值为40.77G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的24点的历史流量为25.18G,以往的大假期2的24点的历史流量为27.23G,….,以往的大假期n的24点的历史流量为27.17G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站1在未来的大假期的24点的预测流量值为26.66G。
因此,如图7中(e)所示,所述源站1在未来的大假期的流量曲线可以是由上述预测值:4.78G、2.73G、4.15G、26.29G、29.25G、37.09G以及23.88G构成的曲线。
(2)源网站2的流量曲线如下:
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的大假期1的0点的历史流量为2.52G,以往的大假期2的0点的历史流量为1.75,….,以往的大假期n的0点的历史流量为2.78,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的0点的预测流量值为2.57G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的大假期1的4点的历史流量为1.61G,以往的大假期2的4点的历史流量为1.69G,….,以往的大假期n的4点的历史流量为1.22G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的4点的预测流量值为1.45G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的大假期1的8点的历史流量为3.22G,以往的大假期2的8点的历史流量为3.79G,….,以往的大假期n的8点的历史流量为2.98G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的8点的预测流量值为3.03G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的大假期1的12点的历史流量为4.35G,以往的大假期2的12点的历史流量为4.12G,….,以往的大假期n的12点的历史流量为5.09G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的12点的预测流量值为4.66G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站1在以往的大假期1的16点的历史流量为5.81G,以往的大假期2的16点的历史流量为4.93G,….,以往的大假期n的16点的历史流量为4.88G,于是,智能防御可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的16点的预测流量值为5.26G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站3在以往的大假期1的20点的历史流量为5.88G,以往的大假期2的20点的历史流量为6.04G,….,以往的大假期n的20点的历史流量为6.25G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的20点的预测流量值为6.17G。
假设智能防御设备从CDN系统发送的日志信息中携带的历史流量信息包括:源站2在以往的大假期1的24点的历史流量为3.17G,以往的大假期2的0点的历史流量为2.94G,….,以往的大假期n的24点的历史流量为3.09G,于是,智能防御设备可以将上述数据输入大假日流量预测模型以预测源站2在未来的大假期的24点的预测流量值为3.01G。
因此,如图7中(f)所示,所述源站2在未来的大假期的流量曲线可以是由上述预测值:2.57G、1.45G、3.03G、4.66G、5.26G、6.17G以及3.01G构成的曲线。
为了方便陈述,上述例子中以时间间隔为4个小时预测各个时间节点的预测流量值,但是,在实际应用中,为了使得曲线更加精确,可以缩短上述时间间隔为2小时、1小时、30分钟和、15分钟、10分钟以及5分钟等等,当然,对曲线要求不需要那么精确时,也可以增加上述时间间隔,此处不作具体限定。
上述例子中的工作日流量预测模型、周末流量预测模型和大假期流量预测模型可以采用深度神经网络或者分段模型来实现。下面将分别进行详细的介绍。
第一种方式,工作日流量预测模型、周末流量预测模型和大假期流量预测模型可以采用深度神经网络来实现。
在本申请具体的实施方式中,工作日流量预测模型可以表示为:
b1=g1(a1)
其中,b1为工作日的预测流量值,a1为工作日的源站当前采样时间的历史流量,g1为工作日的预测流量值和工作日的源站当前采样时间的历史流量之间的映射关系。其中,映射关系g1可以是通过大量的已知工作日的历史流量和大量的已知工作日的源站当前采样时间的预测流量值进行训练得到的。在一具体的实施例中,大量的已知工作日的源站当前采样时间的预测流量值可以是最近半年时间内工作日本时间点的预测流量值,对应地,大量的已知工作日的流量可以是最近半年时间内工作日本时间点的历史流量。
(2)周末流量预测模型可以表示为:
b2=g2(a2)
其中,b2为周末的预测流量值,a2为周末的源站当前采样时间的历史流量,g2为周末的预测流量值和周末的源站当前采样时间的历史流量之间的映射关系。其中,映射关系g2可以是通过大量的已知周末的预测流量值和大量的已知周末的源站当前采样时间的历史流量进行训练得到的。在一具体的实施例中,大量的已知周末的源站当前采样时间的历史流量可以是最近一年时间内周末本时间点的历史流量,对应地,大量的已知周末的预测流量值可以是最近一年时间内周末本时间点的预测流量值。
(3)大假期流量预测模型可以表示为:
b3=g3(a3)
其中,b3为大假期的预测流量值,a3为大假期的源站当前采样时间的历史流量,g3为大假期的预测流量值和大假期的源站当前采样时间的历史流量之间的映射关系。其中,映射关系g3可以是通过大量的已知大假期的预测流量值和大量的已知大假期的源站当前采样时间的历史流量进行训练得到的。在一具体的实施例中,大量的已知大假期的源站当前采样时间的历史流量可以是最近两年时间内大假期本时间点的历史流量,对应地,大量的已知大假期的预测流量值可以是最近两年时间内大假期本时间点的预测流量值。
在第二种方式中,工作日流量预测模型、周末流量预测模型和大假期流量预测模型可以采用分段模型来实现。
(1)工作日流量预测模型可以表示为:
求平均值:
其中,为平均值,x1至xn-1为最近半年时间内工作日本时间点的历史流量,xn为工作日的源站当前采样时间的历史流量,n为最近半年时间内工作日本时间点的历史流量的数量和源站当前采样时间的历史流量的数量的总和;
求方差:
其中,σ1为方差,x1至xn-1为最近半年时间内工作日本时间点的历史流量,xn为工作日的源站当前采样时间的历史流量,n为最近半年时间内工作日本时间点的历史流量的数量和源站当前采样时间的历史流量的数量的总和;
求置信区间:
这里,可以令预测流量值等于置信区间的上限。
(2)周末流量预测模型可以表示为:
求平均值:
求方差:
其中,σ2为方差,y1至yn-1为最近一年时间内周末本时间点的历史流量,yn为周末的源站当前采样时间的历史流量,n为最近一年时间内周末本时间点的历史流量的数量和源站当前采样时间的历史流量的数量的总和;
求置信区间:
这里,可以令预测流量值等于置信区间的上限。
(3)大假日流量预测模型可以表示为:
求平均值:
其中,为平均值,z1至zn-1为最近两年时间内大假期本时间点的历史流量,zn为大假期的源站当前采样时间的历史流量,n为最近两年时间内大假期本时间点的历史流量的数量和源站当前采样时间的历史流量的数量的总和;
求方差:
其中,σ3为方差,z1至zn-1为最近两年时间内大假期本时间点的历史流量,zn为大假期的源站当前采样时间的历史流量,n为最近两年时间内大假期本时间点的历史流量的数量和源站当前采样时间的历史流量的数量的总和;
求置信区间:
这里,可以令预测流量值等于置信区间的上限。
可以理解,上述例子中以预测流量值等于置信区间的上限为例进行说明,但是,在实际应用中,预测流量值可以等于置信区间的下限,以及,置信区间的上限和下限之间的任意一个数值,此处不作局限限定。
采用了上述的基于内容分发网络CDN系统的源站状态检测方法之后,能够解决现有技术存在的问题。
(1)在工作日上午8点,源站的正常访问流量为1G,攻击流量为3G,根据工作日流量预测模型可以计算出工作日的上午10点的预测流量值为1G左右,由于3G的攻击数据叠加,导致访问数据为4G左右,严重偏离正常访问量水平,提出告警。
(2)在工作日晚上20点,源站的访问高峰期突然来临,正常访问流量突破5G,根据工作日流量预测模型可以计算工作日20的正常访问流量为5G左右,根据实时采集的正常访问流量为5G左右,两值偏差较小,属于正常范围。
(3)在大假期中午12点,源站的正常访问流量突破5G,根据大假期流量预测模型可以计算出大假期12点正常访问流量为33G左右,根据实时采集的访问数据为30G左右,两值偏差较小,属于正常范围。
(4)源站节点经过扩容后的承受能力为8G,边缘缓存节点的承受能力为20G。在源站的正常访问流量超过1G,攻击流量为5G时,通过判断6G访问远低于源站节点的8G的承受能力和边缘缓存节点20G的承受能力,不进行防御阻断,仅提出告警。
(5)源站节点经过扩容后的承受能力为3G,边缘缓存节点的承受能力为20G。在源站的正常访问流量超过1G,攻击流量为3G时,通过判断6G访问已经超过了源站节点的承受能力,进行主动阻断防御,防止源站节点宕机。
智能防御设备还可以通过业务类型识别模型识别实时流量的业务类型,并判断所述实时流量的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,如果是,确认所述源站的当前工作状态正常,如果否,确认所述源站的当前工作状态异常。
在本申请具体的实施方式中,业务类型识别模型可以表示为:
y1=f1(x)
其中,y1为业务类型,x为实时流量,f1为实时流量和业务类型之间的映射关系。其中,映射关系f1可以是通过大量的已知历史流量和大量的已知历史流量对应的业务类型行训练得到的。
在本申请具体的实施方式中,如图8所示,业务类型识别模型可以是采用深度神经网络(deep neural networks,DNN)来实现的。在一具体的实施例中,深度神经网络包括输入层、一个或者多个隐含层以及输出层。
输入层:
假设输入层的输入为实时流量Ii,输出和输入相等,即,不对输入进行任何处理。为了陈述简便,此处假设输入层不作任何处理,但是,在实际应用中,可以对输入层进行归一化等等处理,此处不作具体限定。
隐含层:
将输入层输出的实时流量Ii作为隐含层的输入,假设总共L(L 2)层隐含层,设Zl表示第l层的输出结果,当l=1时,Z1=Ii,其中,1≤l≤L,那么,第l层和第l+1层之间的关系为:
al+1=WlZl+bl
Zl+1=fl+1(al+1)
其中,Wl为第l层的权值向量,bl为第l层的偏置向量,al+1为第l+1层的中间向量,fl +1为第l+1层的激励函数,Zl+1为第l+1层的隐藏层结果。激励函数可以是sigmoid函数,双曲正切函数,Relu函数,ELU(Exponential Linear Units)函数等等中的任意一种。
输出层:
假设第L层的输出结果ZL,将ZL输入softmax函数可以得到业务类型。
y=softmax(ZL)
其中,y为输出层的输出结果,ZL为第L层隐含层的输出结果,softmax函数为分类函数。可以理解,上述例子中以softmax函数为例进行说明,但是,在实际的应用中,还可以采用逻辑斯谛函数(logistic)函数等等,此处不作具体限定。
在本申请具体的实施方式中,业务类型识别模型的训练的本质可以这样理解:深度神经网络中的每一层的工作可以用数学表达式来描述:从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作,完成输入空间到输出空间的变换(即矩阵的行空间到列空间),这五种操作包括:1、升维/降维;2、放大/缩小;3、旋转;4、平移;5、“弯曲”。其中1、2、3的操作由完成,4的操作由+b完成,5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物,而是一类事物,空间是指这类事物所有个体的集合。其中,W是权重向量,该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换,即每一层的权重W控制着如何变换空间。训练深度神经网络的目的,也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。因此,神经网络的训练过程本质上就是学习控制空间变换的方式,更具体的就是学习权重矩阵。
在本申请具体的实施方式中,业务类型识别模型的的训练过程可以是:可以将已知历史流量输入业务类型识别模型,从而得到预测值,将已知业务类型作为真正的想要的目标值。通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断的调整,直到神经网络能够预测出真正想要的目标值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
由于攻击流量可以是千差万别的,但是,正常访问流量是有限的,上述方案通过大量的已知历史流量和已知业务类型对业务类型识别模型进行训练,从而使得业务类型识别模型能够学习到识别出正确业务类型的规则,以识别出正常访问流量,并将不能识别为正常访问流量的请求报文识别为攻击流量,能够有效地避免源站遭受到攻击,维护整个系统的安全。另外,可以在线使用最新识别的已知历史流量和已知业务类型实时对业务类型识别模型进行训练,从而及时更新业务类型识别模型的知识库。
由于访问流量是属于租户的,智能防御设备是属于运营商的,因此,源站在将访问流量发送给智能防御设备之前,源站已经将访问流量中的关键信息进行了消除,所以,即使智能防御设备识别出请求报文是攻击流量,也只能大范围地去排查攻击流量是属于哪里的。
为了解决上述问题,可以识别出非正常报文的业务类型,从而只需在非正常报文所述的业务类型中查找非正常报文,有效减少排查非正常报文的工作量。
在本申请具体的实施方式中,智能防御设备还可以包括数据类型识别模型,其中,所述数据类型识别模型用于识别出攻击流量的数据类型。在本申请具体的实施方式中,第二AI模型可以表示为:
y2=f2(x)
其中,y2为数据类型,x为攻击流量,f2为攻击流量和数据类型之间的映射关系。其中,映射关系f2可以是通过大量的已知攻击流量和大量的已知数据类型进行训练得到的。可以理解,数据类型识别模型的预测过程和训练过程均与业务类型识别模型相类似,此处不再展开描述。
在本申请具体的实施方式中,数据类型识别模型和业务类型识别模型可以集成在同一个模型中。
上述方法中,可以通过数据类型识别模型识别出攻击流量的数据类型,从而只需要对该数据类型的访问流量进行排查即可,大大减少了进行排查的工作量。
参见图9,图9是本申请提供的一种智能防御设备的结构示意图。如图9所示,本申请的智能防御设备包括:接收模块310、预测模块320、确认模块330以及告警模块340。
所述接收模块310用于接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
所述预测模块320用于根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
所述确认模块330用于接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
所述告警模块340用于确认所述流量信息中记录的流量值是否超过所述源站的承受能力,在没有超过所述源站的承受能力的情况下,发送告警信息,在超过所述源站的承受能力的情况下,通知所述CDN系统中的节点丢弃所述源站的报文。
在本申请具体的实施方式中,所述确认模块330还用于获取当前时刻在所述流量曲线中对应的预测流量值;在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常。
在本申请具体的实施方式中,所述确认模块330用于获取当前时刻在所述流量曲线中对应的预测流量值;在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
在本申请具体的实施方式中,所述确认模块330用于判断所述实时流量信息中记录的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,在业务类型信息一致的情况下,确认所述源站的当前工作状态正常,在业务类型不一致的情况下,确认所述源站的当前工作状态异常。
可以理解,图9所示的智能防御设备能够实现图6所示的基于内容分发网络CDN系统的源站状态检测方法,为了简便起见,具体请参见图6以及相关描述,此处不再展开描述。
参见图10,图10是本申请提供的另一种智能防御设备的结构示意图。如图10所示,本申请的智能防御设备包括处理单元410和通信接口420,处理单元410用于执行各种软件程序所定义的功能,例如,用于实现智能防御设备的功能。通信接口420用于与其他计算节点进行通信交互,其他设备可以是其它物理服务器,具体地,通信接口420可以是网络适配卡。
可选地,该智能防御设备还可以包括输入/输出接口430,输入/输出接口430连接有输入/输出设备,用于接收输入的信息,输出操作结果。输入/输出接口430可以为鼠标、键盘、显示器、或者光驱等。可选地,该智能防御设备还可以包括辅助存储器440,一般也称为外存,辅助存储器440的存储介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。
可选的,智能防御设备还可以包括总线450。其中,处理单元410、通信接口420、输入/输出接口430、辅助存储器440可以通过总线450连接。总线450可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extendedindustry standard architecture,EISA)总线等。总线450可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
处理单元410可以有多种具体实现形式,例如处理单元410可以包括处理器411和存储器412,处理器411根据存储器412中存储的程序指令执行图6所示的实施例的相关操作。处理器411可以为中央处理单元(central processing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(fieldprogrammable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器411采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
可以理解,图9所示的智能防御设备能够实现图6所示的基于内容分发网络CDN系统的源站状态检测方法,为了简便起见,具体请参见图6以及相关描述,此处不再展开描述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。
Claims (12)
1.一种基于内容分发网络CDN系统的源站状态检测方法,其特征在于,包括:
接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
2.根据权利要求1所述的方法,其特征在于,所述接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的工作状态是否正常,包括:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常。
3.根据权利要求2所述的方法,其特征在于,在确认所述源站的当前工作状态异常之后,所述方法还包括:
确认所述流量信息中记录的流量值是否超过所述源站的承受能力,如果否,发送告警信息,如果是,通知所述CDN系统中的节点丢弃所述源站的报文。
4.根据权利要求1所述的方法,其特征在于,所述接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的工作状态是否正常,包括:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述日志信息还记录有所述源站的业务类型信息,在接收所述源站发送的实时流量信息之后,所述方法还包括:
判断所述实时流量信息中记录的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,如果是,确认所述源站的当前工作状态正常,如果否,确认所述源站的当前工作状态异常。
6.一种智能防御设备,其特征在于,包括:接收模块、预测模块以及确认模块,
所述接收模块用于接收CDN系统中的节点发送的日志信息,所述日志信息中记录有源站的URL和源站的历史流量信息;
所述预测模块用于根据所述日志信息预测所述源站的流量曲线,所述流量曲线包括未来时刻以及在未来时刻的预测流量值;
所述确认模块用于接收所述源站发送的实时流量信息,根据所述实时流量信息以及所述流量曲线确认所述源站的当前工作状态是否正常。
7.根据权利要求6所述的设备,其特征在于,所述确认模块还用于:
获取当前时刻在所述流量曲线中对应的预测流量值;
在所述实时流量信息中记录的流量值超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态异常。
8.根据权利要求7所述的设备,其特征在于,所述装置还包括告警模块,所述告警模块用于确认所述流量信息中记录的流量值是否超过所述源站的承受能力,在没有超过所述源站的承受能力的情况下,发送告警信息,在超过所述源站的承受能力的情况下,通知所述CDN系统中的节点丢弃所述源站的报文。
9.根据权利要求6所述的设备,其特征在于,所述确认模块用于获取当前时刻在所述流量曲线中对应的预测流量值;在所述实时流量信息中记录的流量值不超过当前时刻在所述流量曲线中对应的预测流量值的情况下,确认所述源站的当前工作状态正常。
10.根据权利要求6至9任一项所述的设备,其特征在于,所述确认模块用于判断所述实时流量信息中记录的业务类型与所述日志信息中记录的源站的业务类型信息是否一致,在业务类型信息一致的情况下,确认所述源站的当前工作状态正常,在业务类型不一致的情况下,确认所述源站的当前工作状态异常。
11.一种智能防御设备,其特征在于,包括:处理器和存储器,所述处理器运行所述存储器中的代码以执行如权利要求1至5任一权利要求所述的方法。
12.一种可读存储介质,其特征在于,包括指令,当所述指令在智能防御设备上运行时,使得所述智能防御设备执行如权利要求1至5任一权利要求所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942665.7A CN110753041A (zh) | 2019-09-30 | 2019-09-30 | 基于cdn系统的源站状态检测方法以及设备 |
PCT/CN2020/119009 WO2021063368A1 (zh) | 2019-09-30 | 2020-09-29 | 基于cdn系统的源站状态检测方法以及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942665.7A CN110753041A (zh) | 2019-09-30 | 2019-09-30 | 基于cdn系统的源站状态检测方法以及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110753041A true CN110753041A (zh) | 2020-02-04 |
Family
ID=69277625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910942665.7A Pending CN110753041A (zh) | 2019-09-30 | 2019-09-30 | 基于cdn系统的源站状态检测方法以及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110753041A (zh) |
WO (1) | WO2021063368A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112491601A (zh) * | 2020-11-16 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 流量拓扑生成方法、装置、存储介质及电子设备 |
WO2021063368A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 基于cdn系统的源站状态检测方法以及设备 |
CN116599999A (zh) * | 2023-07-18 | 2023-08-15 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114500231B (zh) * | 2022-01-20 | 2023-07-25 | 中通服创立信息科技有限责任公司 | 一种流量波动的预警方法、系统、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101466124A (zh) * | 2007-12-19 | 2009-06-24 | 中国移动通信集团公司 | 网络带宽控制方法及系统 |
CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
CN104756444A (zh) * | 2012-11-01 | 2015-07-01 | 微软公司 | 云中的cdn负载平衡 |
EP3017377A1 (en) * | 2013-07-03 | 2016-05-11 | Ericsson Television Inc. | System and method for delivering content in a content delivery network |
CN106911511A (zh) * | 2017-03-10 | 2017-06-30 | 网宿科技股份有限公司 | 一种cdn客户源站的防护方法和系统 |
CN108429651A (zh) * | 2018-06-06 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 流量数据检测方法、装置、电子设备及计算机可读介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110078230A1 (en) * | 2009-09-25 | 2011-03-31 | Emilio Sepulveda | Method and system for providing a cdn with granular quality of service |
CN102801792B (zh) * | 2012-07-26 | 2015-04-22 | 华南理工大学 | 基于统计预测的云cdn资源自动部署方法 |
CN107959640B (zh) * | 2016-10-14 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 网络业务调度方法及装置 |
CN106656662A (zh) * | 2016-12-07 | 2017-05-10 | 乐视控股(北京)有限公司 | 异常带宽确定方法、系统及电子设备 |
CN110753041A (zh) * | 2019-09-30 | 2020-02-04 | 华为技术有限公司 | 基于cdn系统的源站状态检测方法以及设备 |
-
2019
- 2019-09-30 CN CN201910942665.7A patent/CN110753041A/zh active Pending
-
2020
- 2020-09-29 WO PCT/CN2020/119009 patent/WO2021063368A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101466124A (zh) * | 2007-12-19 | 2009-06-24 | 中国移动通信集团公司 | 网络带宽控制方法及系统 |
CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
CN104756444A (zh) * | 2012-11-01 | 2015-07-01 | 微软公司 | 云中的cdn负载平衡 |
EP3017377A1 (en) * | 2013-07-03 | 2016-05-11 | Ericsson Television Inc. | System and method for delivering content in a content delivery network |
CN106911511A (zh) * | 2017-03-10 | 2017-06-30 | 网宿科技股份有限公司 | 一种cdn客户源站的防护方法和系统 |
CN108429651A (zh) * | 2018-06-06 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 流量数据检测方法、装置、电子设备及计算机可读介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021063368A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 基于cdn系统的源站状态检测方法以及设备 |
CN112491601A (zh) * | 2020-11-16 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 流量拓扑生成方法、装置、存储介质及电子设备 |
CN112491601B (zh) * | 2020-11-16 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 流量拓扑生成方法、装置、存储介质及电子设备 |
CN116599999A (zh) * | 2023-07-18 | 2023-08-15 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
CN116599999B (zh) * | 2023-07-18 | 2023-10-10 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2021063368A1 (zh) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10560465B2 (en) | Real time anomaly detection for data streams | |
CN107819829B (zh) | 访问区块链的方法、系统、区块链节点设备及用户终端 | |
CN110753041A (zh) | 基于cdn系统的源站状态检测方法以及设备 | |
US10231083B2 (en) | Cognitive geofencing | |
US20210081567A1 (en) | Monitoring data sharing and privacy policy compliance | |
US20130275229A1 (en) | Apparatus and method for universal personal data portability | |
US10231081B2 (en) | Cognitive geofencing | |
CN110300084B (zh) | 基于ip地址的画像方法和装置,电子设备,可读介质 | |
US20180158061A1 (en) | Transaction authentication based on metadata | |
KR20200011443A (ko) | 사용자 디바이스 이벤트의 매칭 및 속성 | |
EP4120662B1 (en) | Network communications | |
US9449181B1 (en) | Control and enforcement of access of user data | |
JP5264813B2 (ja) | 評価装置、評価方法及び評価プログラム | |
CN108702334B (zh) | 用于针对零费率的网络配置的分布式测试的方法和系统 | |
JP2019020996A (ja) | 情報処理装置および信用度算出方法 | |
CN114240060A (zh) | 风险控制方法、风险处理系统、装置、服务器及存储介质 | |
KR20200031846A (ko) | 스몰 데이터를 이용한 신뢰지수 평가 및 예측 방법 | |
CN114070847A (zh) | 服务器的限流方法、装置、设备及存储介质 | |
US20130275409A1 (en) | Apparatus and method for universal personal data portability | |
CN115496544A (zh) | 一种数据处理的方法和装置 | |
CN112948733B (zh) | 接口维护方法、装置、计算设备以及介质 | |
CN113362097B (zh) | 一种用户确定方法和装置 | |
EP3915279B1 (en) | Network peering discovery system and method | |
US20200351230A1 (en) | Systems and methods for controlling user contacts | |
US9179264B1 (en) | Methods, systems, and media for determining location information from real-time bid requests |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220209 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Applicant after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200204 |