CN108243037A - 网站流量异常确定方法及装置 - Google Patents

网站流量异常确定方法及装置 Download PDF

Info

Publication number
CN108243037A
CN108243037A CN201611220164.0A CN201611220164A CN108243037A CN 108243037 A CN108243037 A CN 108243037A CN 201611220164 A CN201611220164 A CN 201611220164A CN 108243037 A CN108243037 A CN 108243037A
Authority
CN
China
Prior art keywords
comentropy
information
website traffic
analysis indexes
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611220164.0A
Other languages
English (en)
Other versions
CN108243037B (zh
Inventor
祁建娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201611220164.0A priority Critical patent/CN108243037B/zh
Publication of CN108243037A publication Critical patent/CN108243037A/zh
Application granted granted Critical
Publication of CN108243037B publication Critical patent/CN108243037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种网站流量异常确定方法及装置,可以提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。可见,本发明实现了异常网站流量的确定,同时,本发明的方案不需要维护大量的训练样本,因此节省了时间成本和人力成本。

Description

网站流量异常确定方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及网站流量异常确定方法及装置。
背景技术
网站流量(traffic)是指网站的访问量,可以用来描述访问一个网站的用户数量以及用户所浏览的网页数量等指标。在获得网站流量后,可以对其进行分析、统计,从中发现用户访问网站的规律,并将这些规律与网络营销策略等相结合,从而发现网络活动中可能存在的问题,并为进一步修正或重新制定网络方式提供依据。
但网站流量中可能存在异常的网站流量,例如:一些人通过互刷软件、广告联盟等方式来提高网站流量,这种情况下产生的网站流量属于异常的网站流量。如果不将这种情况下产生的异常网站流量识别出来,就会降低后续对网站流量的进行分析、统计的准确性。
因此,如何确定异常的网站流量仍旧是一个本领域亟待解决的技术难题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种网站流量异常确定方法及装置,方案如下:
一种网站流量异常确定方法,包括:
获取待确定的网站流量对应的分析指标信息;
根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则确定待确定的网站流量为正常网站流量;否则,确定待确定的网站流量为异常网站流量。
可选的,在获取待确定的网站流量对应的分析指标信息前,所述方法还包括:
获取预设历史时间段内的正常网站流量对应的分析指标信息;
从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
可选的,所述从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵,包括:从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
所述根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,包括:
对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围。
可选的,所述根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息,包括:
将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
所述提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵,包括:
确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵。
可选的,所述判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则确定待确定的网站流量为正常网站流量;否则,确定待确定的网站流量为异常网站流量,包括:
对各统计周期:判断该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则确定该统计周期内的待确定的网站流量为正常网站流量;否则,确定该统计周期内的待确定的网站流量为异常网站流量。
可选的,所述根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,包括:
对每一种分析指标信息:将计算得到的在预设历史时间段内该种分析指标信息的信息熵的最大值、以及计算得到的在预设历史时间段内该种分析指标信息的信息熵的最小值分别作为该种分析指标信息对应的正常网站流量的信息熵范围的上限、下限。
一种网站流量异常确定装置,包括:信息获取单元、信息确定单元、第一信息熵计算单元、信息熵判断单元、正常流量确定单元和异常流量确定单元,
所述信息获取单元,用于获取待确定的网站流量对应的分析指标信息;
所述信息确定单元,用于根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
所述第一信息熵计算单元,用于提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
所述信息熵判断单元,用于判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元;否则,触发所述异常流量确定单元;
所述正常流量确定单元,用于确定待确定的网站流量为正常网站流量;
所述异常流量确定单元,用于确定待确定的网站流量为异常网站流量。
可选的,所述装置还包括:历史获取单元、第二信息熵计算单元和范围确定单元,
所述历史获取单元,用于在所述信息获取单元获取待确定的网站流量对应的分析指标信息前,获取预设历史时间段内的正常网站流量对应的分析指标信息;
所述第二信息熵计算单元,用于从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
所述范围确定单元,用于根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
可选的,所述第二信息熵计算单元具体用于:从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
所述范围确定单元具体用于:对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
可选的,所述信息确定单元具体用于:将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
所述第一信息熵计算单元,包括:统计周期确定子单元、第一信息熵计算子单元和第二信息熵计算子单元,
所述统计周期确定子单元,用于确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
所述第一信息熵计算子单元,用于从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
所述第二信息熵计算子单元,用于对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵;
所述信息熵判断单元,具体用于:对各统计周期:判断该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元;否则,触发所述异常流量确定单元;
所述正常流量确定单元,具体用于确定该统计周期内的待确定的网站流量为正常网站流量;
所述异常流量确定单元,具体用于确定该统计周期内的待确定的网站流量为异常网站流量。
借由上述技术方案,本发明实施例提供的一种网站流量异常确定方法及装置,可以提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。可见,本发明实现了异常网站流量的确定,同时,本发明的方案不需要维护大量的训练样本,因此节省了时间成本和人力成本。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种网站流量异常确定方法的流程图;
图2示出了本发明实施例提供的另一种网站流量异常确定方法的流程图;
图3示出了本发明实施例提供的另一种网站流量异常确定方法的流程图;
图4示出了本发明实施例提供的另一种网站流量异常确定方法的流程图;
图5示出了本发明实施例提供的一种网站流量异常确定装置的结构示意图;
图6示出了本发明实施例提供的另一种网站流量异常确定装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本发明实施例提供了一种网站流量异常确定方法,可以包括:
S100、获取待确定的网站流量对应的分析指标信息;
其中,上述分析指标信息可以有多种,如:独立访问者数量(unique visitors)、重复访问者数量(repeat visitors)、页面浏览数(page views)、每个访问者的页面浏览数(Page Views per user)、页面显示次数、文件下载次数、用户在网站的停留时间、用户来源网站(也叫“引导网站”)、用户所使用的搜索引擎及其关键词、在不同时段的用户访问量情况、用户上网设备类型、用户浏览器的名称和版本、访问者电脑分辨率显示模式、用户所使用的操作系统名称和版本、用户所在地理区域分布状况等。
可以理解的是,实际应用中,可以仅选取一种或几种分析指标信息进行网站流量异常确定,也可以选取更多种的分析指标信息进行网站流量异常确定。
S200、根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息。
其中,预设的正常网站流量的信息熵范围可以根据对已确定的正常网站流量对应的分析指标信息进行统计后得到,也可以由其他方法得到。
S300、提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
在计算信息熵时,可以将提取的所确定的分析指标信息作为多维度特征进行计算。具体的,可以使用下方信息熵的计算公式计算得到信息熵H(x):
H(x)=E[I(xi)]=E[log(2,1/p(xi))]=-∑p(xi)log(2,p(xi))(i=1,2,...n)
其中,x表示随机变量,也即维度特征。P(x)表示输出概率函数,xi表示维度特征的n种可能取值,p(xi)表示维度特征取xi对应的概率。其中,随机变量x的不确定性越大,信息熵H(x)也就越大。
S400、判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则执行步骤S500;否则执行步骤S600;
S500、确定待确定的网站流量为正常网站流量;
S600、确定待确定的网站流量为异常网站流量。
本发明实施例提供的一种网站流量异常确定方法,可以提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。可见,本发明实现了异常网站流量的确定,同时,本发明的方案不需要维护大量的训练样本,因此节省了时间成本和人力成本。
如图2所示,本发明实施例提供的另一种网站流量异常确定方法,在步骤S100前,还可以包括:
S001、获取预设历史时间段内的正常网站流量对应的分析指标信息;
其中,预设历史时间段可以为一年、一个季度、一个月、一周等。
可以理解的是,可以根据预设历史时间段内的正常网站流量对应的分析指标信息确定分析指标信息在该历史时间段内的分布情况。
S002、从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
可以理解的是,由于正常网站流量对应的分析指标信息有多种,因此可以仅使用其中的一种或几种进行信息熵范围的确定并进一步进行网站流量异常的确定。
S003、根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
其中,步骤S003可以具体包括:
对每一种分析指标信息:将计算得到的在预设历史时间段内该种分析指标信息的信息熵的最大值、以及计算得到的在预设历史时间段内该种分析指标信息的信息熵的最小值分别作为该种分析指标信息对应的正常网站流量的信息熵范围的上限、下限。
当然,步骤S003还可以有其他具体实现方式,本发明在此不做限定。
如图3所示,在图2所示实施例基础上,本发明实施例提供的另一种网站流量异常确定方法,可以包括:
S001、获取预设历史时间段内的正常网站流量对应的分析指标信息;
S002a、从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
步骤S002a是图2所示步骤S002的一种具体实现方式。
S003a、对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
步骤S003a是图2所示步骤S003的一种具体实现方式。
由于步骤S002a提取了多种分析指标信息,因此可以首先对预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵进行处理,使一个子时间段内提取的各种分析指标信息的信息熵整合为一个信息熵。这样,后续确定的信息熵范围即为整合后的信息熵的范围。在进行信息熵范围判断时只需要判断整合后的信息熵是否位于信息熵范围内即可(无需将每一种分析指标的信息熵与其相应的信息熵范围进行比较),更加方便。
下面举例说明:
设预设历史时间段为2016年的10月份前一周,子时间段为一天,预设的多种分析指标信息分别为:用户上网设备类型、访问者电脑分辨率显示模式、用户所使用的操作系统名称这三个。已确定2016年10月份前一周的网站流量是正常的,此时可以提取在2016年10月份前一周的上述三种分析指标信息并计算在2016年10月份前一周每一天内的这三种分析指标信息各自的信息熵,如表1所示:
表1
对上述七天每一天的三个信息熵进行加权求和,设权重均为1,则得到各子时间段对应的信息熵。根据各子时间段对应的信息熵可以得出正常网站流量的信息熵范围为[4.5,13.2]。
S100、获取待确定的网站流量对应的分析指标信息;
S200、根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
S300、提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
S400、判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则执行步骤S500;否则执行步骤S600;
S500、确定待确定的网站流量为正常网站流量;
S600、确定待确定的网站流量为异常网站流量。
步骤S100至步骤S600与图1所示实施例相同,不再赘述。
如图4所示,在图3所示实施例基础上,本发明实施例提供的另一种网站流量异常确定方法,可以包括:
S001、获取预设历史时间段内的正常网站流量对应的分析指标信息;
S002a、从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
S003a、对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
S100、获取待确定的网站流量对应的分析指标信息;
步骤S001至步骤S100与图3所示实施例相同,不再赘述。
S210、将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
步骤S210是图3所示步骤S200的一种具体实现方式。
可以理解的是,由于步骤S003的信息熵范围是根据每一个子时间段对应的信息熵确定的,而每一个子时间段对应的信息熵是对预设的多种分析指标信息的信息熵整合后得到的,因此本发明在进行网站流量异常确定时,可以对应的从待确定的网站流量对应的分析指标信息中提取相应种类的分析指标信息。
S310、确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
S320、从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
S330、对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵;
步骤S310和步骤S330是图3所示步骤S300的一种具体实现方式。步骤S320可以多次循环执行,以分别提取多个统计周期内的所确定的多种分析指标信息。
S410、对各统计周期:判断所该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则执行步骤S510;否则执行步骤S610;
S510、确定该统计周期内的待确定的网站流量为正常网站流量;
S610、确定该统计周期内的待确定的网站流量为异常网站流量。
步骤S410是图3所示步骤S400的一种具体实现方式。
步骤S510是图3所示步骤S500的一种具体实现方式。
步骤S610是图3所示步骤S600的一种具体实现方式。
在图3所示实施例的举例基础上继续对图4所示实施例举例说明:图3所示实施例中根据用户上网设备类型、访问者电脑分辨率显示模式、用户所使用的操作系统名称这三种分析指标信息得出预设的正常网站流量的信息熵范围,因此与预设的正常网站流量的信息熵范围对应的多种分析指标信息即为:用户上网设备类型、访问者电脑分辨率显示模式、用户所使用的操作系统名称。步骤S210将这三种分析指标信息确定为待提取的分析指标信息。同时,由于子时间段为一天,因此步骤S310确定统计周期为一天。步骤S320提取一天内的上述三种分析指标信息并计算得到其信息熵,设计算得到的信息熵分别为:1.4、2.3、2.4,则步骤S330仍旧使用与图3所示实施例的举例相同的计算方式(加权求和且权重均为1)计算得到一天内的信息熵为6.1。步骤S410判断出6.1位于预设的正常网站流量的信息熵范围[4.5,13.2]内,因此步骤S510可以确定这一天内的网站流量是正常网站流量。
与上述本发明的方法实施例相对应,本发明还提供了一种网站流量异常确定装置。
如图5所示,本发明实施例提供的一种网站流量异常确定装置,可以包括:信息获取单元100、信息确定单元200、第一信息熵计算单元300、信息熵判断单元400、正常流量确定单元500和异常流量确定单元600,
所述信息获取单元100,用于获取待确定的网站流量对应的分析指标信息;
其中,上述分析指标信息可以有多种,如:独立访问者数量(unique visitors)、重复访问者数量(repeat visitors)、页面浏览数(page views)、每个访问者的页面浏览数(Page Views per user)、页面显示次数、文件下载次数、用户在网站的停留时间、用户来源网站(也叫“引导网站”)、用户所使用的搜索引擎及其关键词、在不同时段的用户访问量情况、用户上网设备类型、用户浏览器的名称和版本、访问者电脑分辨率显示模式、用户所使用的操作系统名称和版本、用户所在地理区域分布状况等。
可以理解的是,实际应用中,可以仅选取一种或几种分析指标信息进行网站流量异常确定,也可以选取更多种的分析指标信息进行网站流量异常确定。
所述信息确定单元200,用于根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
其中,预设的正常网站流量的信息熵范围可以根据对已确定的正常网站流量对应的分析指标信息进行统计后得到,也可以由其他方式得到。
所述第一信息熵计算单元300,用于提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
在计算信息熵时,可以将提取的所确定的分析指标信息作为多维度特征进行计算。具体的,可以使用下方信息熵的计算公式计算得到信息熵H(x):
H(x)=E[I(xi)]=E[log(2,1/p(xi))]=-∑p(xi)log(2,p(xi))(i=1,2,...n)
其中,x表示随机变量,也即维度特征。P(x)表示输出概率函数,xi表示维度特征的n种可能取值,p(xi)表示维度特征取xi对应的概率。其中,随机变量x的不确定性越大,信息熵H(x)也就越大。
所述信息熵判断单元400,用于判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元;否则,触发所述异常流量确定单元;
所述正常流量确定单元500,用于确定待确定的网站流量为正常网站流量;
所述异常流量确定单元600,用于确定待确定的网站流量为异常网站流量。
本发明实施例提供的一种网站流量异常确定装置,可以提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。可见,本发明实现了异常网站流量的确定,同时,本发明的方案不需要维护大量的训练样本,因此节省了时间成本和人力成本。
如图6所示,本发明实施例提供的另一种网站流量异常确定装置,还可以包括:历史获取单元001、第二信息熵计算单元002和范围确定单元003,
所述历史获取单元001,用于在所述信息获取单元获取待确定的网站流量对应的分析指标信息前,获取预设历史时间段内的正常网站流量对应的分析指标信息;
其中,预设历史时间段可以为一年、一个季度、一个月、一周等。
可以理解的是,可以根据预设历史时间段内的正常网站流量对应的分析指标信息确定分析指标信息在该历史时间段内的分布情况。
所述第二信息熵计算单元002,用于从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
可以理解的是,由于正常网站流量对应的分析指标信息有多种,因此可以仅使用其中的一种或几种进行信息熵范围的确定并进一步进行网站流量异常的确定。
所述范围确定单元003,用于根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
进一步,所述范围确定单元003,可以具体用于对每一种分析指标信息:将计算得到的在预设历史时间段内该种分析指标信息的信息熵的最大值、以及计算得到的在预设历史时间段内该种分析指标信息的信息熵的最小值分别作为该种分析指标信息对应的正常网站流量的信息熵范围的上限、下限,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
在本发明其他实施例中,第二信息熵计算单元002可以具体用于:从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
所述范围确定单元003可以具体用于:对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
进一步,所述信息确定单元200可以具体用于:将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
所述第一信息熵计算单元300,可以包括:统计周期确定子单元、第一信息熵计算子单元和第二信息熵计算子单元,
所述统计周期确定子单元,用于确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
所述第一信息熵计算子单元,用于从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
所述第二信息熵计算子单元,用于对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵;
所述信息熵判断单元400,具体用于:对各统计周期:判断该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元500;否则,触发所述异常流量确定单元600;
所述正常流量确定单元500,具体用于确定该统计周期内的待确定的网站流量为正常网站流量;
所述异常流量确定单元600,具体用于确定该统计周期内的待确定的网站流量为异常网站流量。
所述网站流量异常确定装置包括处理器和存储器,上述信息获取单元、信息确定单元、第一信息熵计算单元、信息熵判断单元、正常流量确定单元、异常流量确定单元、历史获取单元、第二信息熵计算单元和范围确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供的一种网站流量异常确定装置,可以提取分析指标信息,计算得到提取的分析指标信息的信息熵,根据计算得到的信息熵是否位于预设的正常网站流量的信息熵范围内确定网站流量是否为异常网站流量。可见,本发明实现了异常网站流量的确定,同时,本发明的方案不需要维护大量的训练样本,因此节省了时间成本和人力成本。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:
获取待确定的网站流量对应的分析指标信息;
根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则确定待确定的网站流量为正常网站流量;否则,确定待确定的网站流量为异常网站流量。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种网站流量异常确定方法,其特征在于,包括:
获取待确定的网站流量对应的分析指标信息;
根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则确定待确定的网站流量为正常网站流量;否则,确定待确定的网站流量为异常网站流量。
2.根据权利要求1所述的方法,其特征在于,在获取待确定的网站流量对应的分析指标信息前,所述方法还包括:
获取预设历史时间段内的正常网站流量对应的分析指标信息;
从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
3.根据权利要求2所述的方法,其特征在于,所述从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵,包括:从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
所述根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,包括:
对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围。
4.根据权利要求3所述的方法,其特征在于,所述根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息,包括:
将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
所述提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵,包括:
确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵。
5.根据权利要求4所述的方法,其特征在于,所述判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则确定待确定的网站流量为正常网站流量;否则,确定待确定的网站流量为异常网站流量,包括:
对各统计周期:判断该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则确定该统计周期内的待确定的网站流量为正常网站流量;否则,确定该统计周期内的待确定的网站流量为异常网站流量。
6.根据权利要求2所述的方法,其特征在于,所述根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,包括:
对每一种分析指标信息:将计算得到的在预设历史时间段内该种分析指标信息的信息熵的最大值、以及计算得到的在预设历史时间段内该种分析指标信息的信息熵的最小值分别作为该种分析指标信息对应的正常网站流量的信息熵范围的上限、下限。
7.一种网站流量异常确定装置,其特征在于,包括:信息获取单元、信息确定单元、第一信息熵计算单元、信息熵判断单元、正常流量确定单元和异常流量确定单元,
所述信息获取单元,用于获取待确定的网站流量对应的分析指标信息;
所述信息确定单元,用于根据预设的正常网站流量的信息熵范围,确定待提取的分析指标信息;
所述第一信息熵计算单元,用于提取所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
所述信息熵判断单元,用于判断计算得到所述提取的分析指标信息的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元;否则,触发所述异常流量确定单元;
所述正常流量确定单元,用于确定待确定的网站流量为正常网站流量;
所述异常流量确定单元,用于确定待确定的网站流量为异常网站流量。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:历史获取单元、第二信息熵计算单元和范围确定单元,
所述历史获取单元,用于在所述信息获取单元获取待确定的网站流量对应的分析指标信息前,获取预设历史时间段内的正常网站流量对应的分析指标信息;
所述第二信息熵计算单元,用于从所述正常网站流量对应的分析指标信息中提取预设的至少一种分析指标信息,计算得到提取的所述至少一种分析指标信息的信息熵;
所述范围确定单元,用于根据计算得到的所述至少一种分析指标信息的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
9.根据权利要求8所述的装置,其特征在于,所述第二信息熵计算单元具体用于:从所述正常网站流量对应的分析指标信息中提取预设的多种分析指标信息,计算从所述预设历史时间段内的每一个子时间段内提取的各种分析指标信息的信息熵;
所述范围确定单元具体用于:对计算得到的每一个子时间段内的各种分析指标信息的信息熵均进行加权求和/加权平均,得到每一个子时间段对应的信息熵,根据每一个子时间段对应的信息熵确定正常网站流量的信息熵范围,将确定的正常网站流量的信息熵范围作为所述预设的正常网站流量的信息熵范围。
10.根据权利要求9所述的装置,其特征在于,所述信息确定单元具体用于:将与所述预设的正常网站流量的信息熵范围对应的多种分析指标信息确定为待提取的分析指标信息;
所述第一信息熵计算单元,包括:统计周期确定子单元、第一信息熵计算子单元和第二信息熵计算子单元,
所述统计周期确定子单元,用于确定与所述预设的正常网站流量的信息熵范围对应的子时间段匹配的统计周期;
所述第一信息熵计算子单元,用于从所述待确定的网站流量对应的分析指标信息中提取至少一个统计周期内的所述待提取的分析指标信息,计算得到提取的分析指标信息的信息熵;
所述第二信息熵计算子单元,用于对各统计周期:对提取的该统计周期内的各分析指标信息的信息熵进行加权求和/加权平均,得到该统计周期对应的信息熵;
所述信息熵判断单元,具体用于:对各统计周期:判断该统计周期对应的信息熵是否位于所述信息熵范围内,如果是,则触发所述正常流量确定单元;否则,触发所述异常流量确定单元;
所述正常流量确定单元,具体用于确定该统计周期内的待确定的网站流量为正常网站流量;
所述异常流量确定单元,具体用于确定该统计周期内的待确定的网站流量为异常网站流量。
CN201611220164.0A 2016-12-26 2016-12-26 网站流量异常确定方法及装置 Active CN108243037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611220164.0A CN108243037B (zh) 2016-12-26 2016-12-26 网站流量异常确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611220164.0A CN108243037B (zh) 2016-12-26 2016-12-26 网站流量异常确定方法及装置

Publications (2)

Publication Number Publication Date
CN108243037A true CN108243037A (zh) 2018-07-03
CN108243037B CN108243037B (zh) 2021-04-30

Family

ID=62702008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611220164.0A Active CN108243037B (zh) 2016-12-26 2016-12-26 网站流量异常确定方法及装置

Country Status (1)

Country Link
CN (1) CN108243037B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459276A (zh) * 2019-08-15 2019-11-15 北京嘉和海森健康科技有限公司 一种数据处理方法及相关设备
CN110602067A (zh) * 2019-08-29 2019-12-20 北京孚耐尔科技有限公司 基于流量分析的数据报文快速提取和调用的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712134B1 (en) * 2006-01-06 2010-05-04 Narus, Inc. Method and apparatus for worm detection and containment in the internet core
CN101795215A (zh) * 2010-01-28 2010-08-04 哈尔滨工程大学 网络流量异常检测方法及检测装置
CN101895521A (zh) * 2009-05-22 2010-11-24 中国科学院研究生院 一种网络蠕虫检测与特征自动提取方法及其系统
CN105515888A (zh) * 2015-06-30 2016-04-20 国家电网公司 基于多维熵序列分类的智能变电站通信网络异常检测方法
CN105847283A (zh) * 2016-05-13 2016-08-10 深圳市傲天科技股份有限公司 一种基于信息熵方差分析的异常流量检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712134B1 (en) * 2006-01-06 2010-05-04 Narus, Inc. Method and apparatus for worm detection and containment in the internet core
CN101895521A (zh) * 2009-05-22 2010-11-24 中国科学院研究生院 一种网络蠕虫检测与特征自动提取方法及其系统
CN101795215A (zh) * 2010-01-28 2010-08-04 哈尔滨工程大学 网络流量异常检测方法及检测装置
CN105515888A (zh) * 2015-06-30 2016-04-20 国家电网公司 基于多维熵序列分类的智能变电站通信网络异常检测方法
CN105847283A (zh) * 2016-05-13 2016-08-10 深圳市傲天科技股份有限公司 一种基于信息熵方差分析的异常流量检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈鹏,司健,于子桓,等: "基于信息熵的网络流异常监测和三维可视方法", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459276A (zh) * 2019-08-15 2019-11-15 北京嘉和海森健康科技有限公司 一种数据处理方法及相关设备
CN110602067A (zh) * 2019-08-29 2019-12-20 北京孚耐尔科技有限公司 基于流量分析的数据报文快速提取和调用的方法和装置

Also Published As

Publication number Publication date
CN108243037B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN104426713B (zh) 网络站点访问效果数据的监测方法和装置
CN106919611B (zh) 产品信息推送方法和装置
Wang et al. Comparative performance of logistic regression and survival analysis for detecting spatial predictors of land-use change
CN110008397B (zh) 一种推荐模型训练方法及装置
CN108415845A (zh) Ab测试系统指标置信区间的计算方法、装置和服务器
CN106503025A (zh) 一种应用推荐方法和系统
CN111161887B (zh) 基于人口迁徙大数据的流行病疫区返程人群规模预测方法
CN110008080A (zh) 基于时间序列的业务指标异常检测方法、装置和电子设备
KR20200003109A (ko) 샘플 가중치 설정방법 및 장치, 전자 기기
CN106920119A (zh) 一种用户价值的评价方法及装置
CN104462554B (zh) 问答页面相关问题推荐方法和装置
CN108763274A (zh) 访问请求的识别方法、装置、电子设备及存储介质
EP3639163A1 (en) Systems and methods for optimizing and simulating webpage ranking and traffic
CN107622008A (zh) 一种应用页面的遍历方法和装置
CN109858528A (zh) 推荐系统训练方法、装置、计算机设备及存储介质
CN109977312A (zh) 一种基于内容标签的知识库推荐系统
CN107093091A (zh) 一种数据处理方法和装置
CN106919995A (zh) 一种判断用户群体流失倾向的方法及装置
CN108243037A (zh) 网站流量异常确定方法及装置
CN110020152A (zh) 应用推荐方法及装置
CN107067276A (zh) 确定对象影响力的方法及装置
CN104462556B (zh) 问答页面相关问题推荐方法和装置
CN105162643B (zh) 流量预估的方法、装置及计算设备
CN110110219B (zh) 根据网络行为确定用户偏好的方法及装置
CN107665208A (zh) 用户偏好度量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant