CN107332848B - 一种基于大数据的网络流量异常实时监测系统 - Google Patents

一种基于大数据的网络流量异常实时监测系统 Download PDF

Info

Publication number
CN107332848B
CN107332848B CN201710542877.7A CN201710542877A CN107332848B CN 107332848 B CN107332848 B CN 107332848B CN 201710542877 A CN201710542877 A CN 201710542877A CN 107332848 B CN107332848 B CN 107332848B
Authority
CN
China
Prior art keywords
url
data
network
real
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710542877.7A
Other languages
English (en)
Other versions
CN107332848A (zh
Inventor
李智星
沈柯
于洪
徐家男
孙钰山
林智敏
封楠
欧阳卫华
王进
胡峰
雷大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710542877.7A priority Critical patent/CN107332848B/zh
Publication of CN107332848A publication Critical patent/CN107332848A/zh
Application granted granted Critical
Publication of CN107332848B publication Critical patent/CN107332848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Technology Law (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明请求保护一种基于大数据的网络流量异常实时监测的系统，使用了一种解耦合的系统设计，数据采集，数据处理，数据分析与及时响应自成一体，系统高度模块化。其特征在于：用嗅探器进行了数据的分布式采集，实现全网监测，实时抓取网络数据包信息。根据URL结构设定了特定规则，构建数据处理模块，实现对URL的有效信息提取。大量URL数据输入到利用bagging集成的机器学习器中进行有监督式学习，得到能够识别URL类型的数据分析模块；Web端与移动客户端的结合以多角度，多层次呈现数据。安装在服务器上的防御插件实现了对服务器的及时防护，与此同时，实时更新系统分类器数据，提高系统实用性。

Description

一种基于大数据的网络流量异常实时监测系统
技术领域
本发明属于互联网领域，更具体地来说，设计一种基于大数据的网络流量 异常实时监测系统。
背景技术
1、信息时代的网络安全问题
随着网络规模的不断扩大以及各类网络应用的持续深化，互联网已经成为人 们生活中不可或缺的基础设施。但与此同时，各类网络攻击日益猖獗，严重威 胁着互联网的安全。例如2014年1月21日国内通用顶级域的根服务器忽然出 现异常，导致众多知名网站出现DNS解析故障，用户无法正常访问事故发生期 间，超过85％的用户遭遇了DNS故障，引发网速变慢和打不开网站的情况；2015 年4月中旬，阿里安全研究实验室近日发现一个名为“WiFi杀手”的安卓系统漏 洞。利用该漏洞，黑客可对开启了WiFi的安卓手机远程攻击，窃取手机内的照 片、通讯录等重要信息，影响市面上大部分安卓设备。如何防护对计算机和网 络资源的恶意使用与破坏成了当前亟待解决的问题。
2、网络安全产品现状
安装防火墙和入侵检测系统等网络安全产品已经成为一种通用防护措施。网 络防火墙能够强化安全策略，有效记录Internet上的活动，同时也是个安全的检 查站，但是防火墙不仅容易被攻破，而且无法应对来自本网络内部的攻击。基 于web的入侵检测系统是目前最流行的web主动安全防护技术，它能够检测到 外部攻击与合法用户滥用特权的情况，在最大程度上弥补防火墙的缺陷，然而 黑客通过一些适应性策略可以使检测不起作用。
3、流量监控方法
传统的流量监控方法一般分为三个步骤：流量引流、协议重组及后台内容分 析。引流分类单元按照协议类型将收到的数据包发给不同的协议重组单元，协 议重组单元还原应用层信息，随后将还原的应用层信息连同时间标签、链路信 息等发送至后台内容分析单元进行分析。后台内容分析对还原的应用层信息进 行热点统计、互联网信息分析等。从而采取一定的措施抑制网络攻击。
在此基础上，可以引入统一资源定位符(URL)，在预定时间内对URL的请 求次数进行统计以确定热点URL，主动抓取URL对应的资源，对其内容进行分 析，达到流量监控的目的。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种使系统实时性更强，实时 在线进行网络抓包与及时响应使系统具有更好的实用性的基于大数据的网络流 量异常实时监测系统。本发明的技术方案如下：
一种基于大数据的网络流量异常实时监测系统，其包括：
数据采集模块：用于把嗅探器工具分布式放置于网络中，实时抓取网络数据 包信息并发送给URL处理模块(702)；
URL处理模块：用于根据接收的网络数据包信息，对统一资源定位符对URL进 行特征提取，并转发给URL分析模块；
URL分析模块：对大量URL数据进行有监督学习，得到能够通过对URL进行分 析判定出访问性质的模型；将提取过有效信息的URL输入模型，经过多个分类 器分类打标，确定该URL的访问性质；
及时响应模块(704)：在确定URL的访问性质后及时响应前端，在监测到访问 异常的情况下及时对用户作出警示，同时可视化呈现攻击次数与形式。
进一步的，所述URL处理模块中对URL进行特征提取处理，具体方法如下： 去除“#”后的无效数据；将剩余片段按“？”进行切割；分理出文件路径片段，以“/” 与“＝”划分；查询部分以“&”与“＝”划分；将划分所得的参数与值分别放入处理函 数中进行正则匹配，处理完毕后的片段即为模型需要的URL信息片段。
进一步的，所述数据采集模块与URL处理模块间设置了一个用于减小服务 器负担的Cache层。
进一步的，所述URL分析模块将提取过有效信息的URL输入模型，经过多个 分类器的分类打标，确定该URL的访问性质具体包括：分别选取以下特征进行 分类打标：URL参数值的长度异常值：字符分布，利用统计学中的卡方检验计算 字符分布的异常值α；枚举类型，计算属性值的输入属于所枚举异常类型的情 况；关键词抽取，寻找相同访问性质的URL共同特征，在扫描所有URL数据 后，对所有物理位置相邻的字符串进行频次记录，筛除频次过低的字符串后对 剩余字符串做互信息计算。
进一步的，所述URL参数值的长度异常值，利用统计学中的切比雪夫不等式 以及长度的均值与方差可以计算出长度的异常值P，
Figure BDA0001342275110000031
其中X为URL参数值的长度；μ为长度均值，σ2为长度方差，k表示标准差个 数；
进一步的，所述字符分布利用统计学中的卡方检验计算字符分布的异常值α 具体包括：对于字符串{s1,s2,…,sn},CD(s)i表示CD(s)中的第i个概率值，ICDi表 示ICD中的第i个概率值，则
Figure BDA0001342275110000032
其中i＝1,2,…,n，即ICD中的第i 个概率值是样本集中所有样本分布的第i个概率值的均值；
Figure BDA0001342275110000033
进一步的，所述枚举类型，计算属性值的输入属于枚举类型异常的情况,所 述定义函数f和g,函数f是线性递增函数，g(x)表示样本函数，当依次输入训练 样本时，倘若遇到新样本则g加1，否则g减1。
f(x)＝x
Figure BDA0001342275110000034
当所有样本都学习结束后得到的函数f和g的相关系数ρ可由下面的公式定 义：
Figure BDA0001342275110000041
其中Var(f)和Var(g)分别是函数f和g的方差，Covar(f,g)是函数f和g的协方差。
进一步的，所述关键词抽取互信息体现了字符串内部结合方式是否紧密，其 计算公式如下：
Figure BDA0001342275110000042
其中，P(s1s2s3)表示字符串s1s2s3出现的概率，P(s1s2)、P(s2s3)含义相仿。
进一步的，此外，还需要计算字符串邻字的左右邻字丰富程度，，其左右邻 字的丰富程度可以使用信息熵获得
Figure BDA0001342275110000043
其中P(i)表示该字符串的 邻字i出现的概率。
进一步的，所述及时响应模块中对用户的及时响应，具体方法如下：实时数 据训练得到分类标签后，判断该URL是否异常，在监测到异常访问时，针对个 人用户，防御插件弹出警告提示，建议不再继续访问；针对服务器管理员，系 统提示服务器受到攻击，攻击地址显示在首页地图上，近期遭受的攻击形式及 其次数以折线图形式显示在界面上。
本发明的优点及有益效果如下：
本发明对在复杂环境下的网络异常流量进行实时监测。对URL进行准确切 片，同时有效的进行特征提取，如长度异常值、字符分布等，以免误判访问性 质。Bagging集成多模型有监督学习相确保了模型的可靠性。采用时间复杂度相 对较小的算法——GBDT、决策树等、使系统实时性更强，实时在线进行网络抓 包与及时响应使系统具有更好的实用性，与此同时，良好的人机交互界面更是 使系统的使用简单、便捷。
附图说明
图1是本发明提供优选实施例的为本发明网页版展示图
图2为本发明移动客户端应用界面图
图3为本发明URL信息提取示例图
图4为本发明数据分析模块结构示意图
图5为本发明Bagging框架集成流程图
图6为本发明实时数据预测流程图
图7为本发明系统的整体结构图
图8为本发明数据采集模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明提出了一个用于网络流量异常实时监测的系统。图8所示为本系统的整 体结构图。图1、图2、图3所示为系统的网页、移动客户端应用界面与插件展 示图。将大量的已知访问性质的URL数据提取有效信息后，进行多模型有监督 学习，得到具有极高准确性的分类器。在网络上实时抓取数据包信息，获得URL 数据，将其解析为有意义的无害形式。将所得有效信息传入事先训练好的分类 器，进行访问性质的辨别，在监测出异常访问情况时，web与移动客户端对信息 进行可视化处理，更新实时监测数据。保护插件对异常访问进行拦截。
整个流量监测系统的重要过程包括：数据采集模块，URL有效信息的提取，分 类器的训练，在线分析URL，及时响应。
一、数据采集模块
嗅探器广泛应用于所有能够捕获和分析网络流量的产品。在数据采集模块 的设计中把嗅硬件探器分布式放于网络中，每一个嗅探器为一个数据采集点， 最终实现全局网络的数据采集。对于大数据、高并发的服务器访问来说，数据 库存取瓶颈一直是个令人头疼的问题。所以在数据采集模块与数据处理模块间 加了一个Cache层，减小了服务器的负担，增加了处理效率。
二、URL有效信息的提取
URL通常由三部分组成：资源类型、存放资源的主机域名、资源文件名，其 中包含了大量的有效信息。例如，在“http://www.google.com”这个URL中可以了 解到客户端通过http协议发起通信，其主机地址为www.google.com。协议定义 了URL中的数据路径，后面是可选的查询与信息碎片。路径是个分层结构，每 个文件夹以“/”分割，最后是文件。同时路径片段还有可选的path参数，参数名 与值以“＝”分隔。路径之后是查询部分，与路径之间以一个“？”隔开，查询部分 包含了一个由“&”分割开的参数列表，参数名与值同样用“＝”分开。最后部分是 个段落，指向HTML文件中的某个部分。
为了提取URL的有效信息，本文对URL进行了如下处理：
1)首先需去除符号“#”后的无效数据；
2)将剩余片段按符号“？”进行切割，
3)分理出文件路径片段，以符号“/”与符号“＝”划分；
4)查询部分以符号“&”与符号“＝”划分；
5)将3)、4)划分所得的参数与值分别放入处理函数中进行正则匹配。处理函 数会将数字用日期与时间代替，乱符更换为“$0”，长度小于10的小写字母组成 的字符串改为“s”，长度大于2的“Ox”开头的字符串改为“Ox1234”，多个空格缩 为一个空格。处理完毕后的片段即为模型需要的URL信息片段。图4为URL 信息提取示例图。
三、分类器的训练
将已有的大量URL数据提取有效信息后，开始训练分类器。
1)特征构造：众所周知，特征工程的构造严重影响着模型的有效性与准确 率。本文分别选取：
a.URL参数值的长度异常值：利用统计学中的切比雪夫不等式以及长度的 均值与方差可以计算出长度的异常值P，
Figure BDA0001342275110000071
其中μ为长度均值，σ2为长度方差，k表示标准差个数；
b.字符分布：利用统计学中的卡方检验计算字符分布的异常值α。对于字符 串{s1,s2,…,sn},CD(s)i表示CD(s)中的第i个概率值，ICDi表示ICD中的第i个概率 值，则
Figure BDA0001342275110000072
其中i＝1,2,…,n。即ICD中的第i个概率值是样本集中所 有样本分布的第i个概率值的均值；
Figure BDA0001342275110000073
c.枚举类型：某个属性值的合法输入属于枚举类型的情况非常普遍，例如“gender”属性的合法参数是“{male,female}”，任何不属于这两种情况的输入都应 该属于异常情况。定义函数f和g,函数f是线性递增函数，当依次输入训练样本 时，倘若遇到新样本则g加1，否则g减1。
f(x)＝x
Figure BDA0001342275110000074
当所有样本都学习结束后得到的函数f和g的相关系数ρ可由下面的公式定 义：
Figure BDA0001342275110000075
其中Var(f)和Var(g)分别是函数f和g的方差，Covar(f,g)是函数f和g的协方差；
d.关键词抽取：为了寻找相同访问性质的URL共同特征，对同访问类型的 URL做关键词抽取显得尤为重要。在扫描所有URL数据后，对所有物理位置相 邻的字符串进行频次记录。筛除频次过低的字符串后对剩余字符串做互信息计 算。互信息体现了字符串内部结合方式是否紧密，其计算公式如下：
Figure BDA0001342275110000076
其中，P(s1s2s3)表示字符串s1s2s3出现的概率，P(s1s2)、P(s2s3)含义相仿。
此外，还需要计算字符串邻字的左右邻字丰富程度，左右邻字越丰富，该字符 串在数据集中就越灵活，是该种URL关键词的可能性就越大。其左右邻字的丰 富程度可以使用信息熵获得
Figure BDA0001342275110000081
其中P(i)表示该字符串的邻字i 出现的概率。
将特征扩展到总数据集，分别用XGBoost、RF、LightGBM、LR算法进行有监 督学习，并用Bagging框架集成分类器得到分类模型，表1为机器学习算法实验 准确率对照表。图5为分类器构造流程图。图6为Bagging框架集成流程图。
表1 机器学习算法实验准确率对照表
Figure BDA0001342275110000082
四、URL在线分析
将实时抓取的URL数据进行有效信息提取后，输入分类器，针对不同访问 性质的五个子模型会分别给出分类结果及其预测准确率，综合比较子模型预测 结果，取预测准确率最大的分类标签作为实时数据的访问性质回馈给前端。图7 为实时数据预测流程图。
五、及时响应
通过通信串口，可视化模块显示数据处理模块所提供的数据结果。针对个人 用户，倘若该URL符合已知四种攻击形式，则插件弹出警告提示，建议不再继 续访问；针对服务器管理员，系统会提示服务器受到攻击，攻击地址将显示在 首页地图上，web可视化模块提供了一个完整的网络全局实时攻击情况，近期遭 受的攻击形式及其次数以折线图形呈现。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于大数据的网络流量异常实时监测系统，其特征在于，包括：
数据采集模块(701)：用于把嗅探器工具分布式放置于网络中，实时抓取网络数据包信息并发送给URL处理模块(702)；
URL处理模块(702)：用于根据接收的网络数据包信息，对统一资源定位符进行特征提取，并转发给URL分析模块(703)；
URL分析模块(703)：对大量URL数据进行有监督学习，得到能够通过对URL进行分析判定出访问性质的模型；将提取过有效信息的URL输入模型，经过多个分类器的分类打标，确定该URL的访问性质；所述URL分析模块(703)将提取过有效信息的URL输入模型，经过多个分类器的分类打标，确定该URL的访问性质具体包括：分别选取以下特征进行分类打标：URL参数值的长度异常值；字符分布，利用统计学中的卡方检验计算字符分布的异常值α；枚举类型，计算属性值的输入属于枚举类型异常的情况；关键词抽取，寻找相同访问性质的URL共同特征，在扫描所有URL数据后，对所有物理位置相邻的字符串进行频次记录，筛除频次过低的字符串后对剩余字符串做互信息计算；
所述URL参数值的长度异常值，利用统计学中的切比雪夫不等式以及长度的均值与方差可以计算出长度的异常值P，
Figure FDA0002401888090000011
其中X为URL参数值的长度，μ为长度均值，σ2为长度方差，k表示标准差个数；
所述字符分布利用统计学中的卡方检验计算字符分布的异常值α具体包括：对于字符串{s1,s2,…,sn},CD(s)i表示CD(s)中的第i个概率值，ICDi表示ICD中的第i个概率值，则
Figure FDA0002401888090000012
其中i＝1,2,…,n，即ICD中的第i个概率值是样本集中所有样本分布的第i个概率值的均值；
Figure FDA0002401888090000013
所述枚举类型，计算属性值的输入属于枚举类型异常的情况，定义函数f和g,函数f是线性递增函数，g(x)表示样本函数，当依次输入训练样本时，倘若遇到新样本则g加1，否则g减1；
f(x)＝x
Figure FDA0002401888090000021
当所有样本都学习结束后得到的函数f和g的相关系数ρ可由下面的公式定义：
Figure FDA0002401888090000022
其中Var(f)和Var(g)分别是函数f和g的方差，Covar(f,g)是函数f和g的协方差；
所述关键词抽取互信息体现了字符串内部结合方式是否紧密，其计算公式如下：
Figure FDA0002401888090000023
其中，P(s1s2s3)表示字符串s1s2s3出现的概率，P(s1s2)、P(s2s3)含义相仿；
还需要计算字符串邻字的左右邻字丰富程度，其左右邻字的丰富程度可以使用信息熵获得
Figure FDA0002401888090000024
其中P(i)表示该字符串的邻字i出现的概率；
及时响应模块(704)：在确定URL的访问性质后及时响应前端，在监测到访问异常的情况下及时对用户作出警示，同时可视化呈现攻击次数与形式。
2.根据权利要求1所述的基于大数据的网络流量异常实时监测系统，其特征在于，所述URL处理模块(702)中对URL的进行特征提取，具体方法如下：去除“#”后的无效数据；将剩余片段按“？”进行切割；分理出文件路径片段，以“/”与“＝”划分；查询部分以“&”与“＝”划分；将划分所得的参数与值分别放入处理函数中进行正则匹配，处理完毕后的片段即为模型需要的URL信息片段。
3.根据权利要求1所述的基于大数据的网络流量异常实时监测系统，其特征在于，所述数据采集模块与URL处理模块(702)间设置了一个用于减小服务器负担的Cache层。
4.根据权利要求1-3之一所述的基于大数据的网络流量异常实时监测系统，其特征在于，所述及时响应模块(704)中对用户的及时响应，具体方法如下：实时数据训练得到分类标签后，判断该URL是否异常，在监测到异常访问时，针对个人用户，防御插件弹出警告提示，建议不再继续访问；针对服务器管理员，系统提示服务器受到攻击，攻击地址显示在首页地图上，近期遭受的攻击形式及其次数以折线图形式显示在界面上。
CN201710542877.7A 2017-07-05 2017-07-05 一种基于大数据的网络流量异常实时监测系统 Active CN107332848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710542877.7A CN107332848B (zh) 2017-07-05 2017-07-05 一种基于大数据的网络流量异常实时监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710542877.7A CN107332848B (zh) 2017-07-05 2017-07-05 一种基于大数据的网络流量异常实时监测系统

Publications (2)

Publication Number Publication Date
CN107332848A CN107332848A (zh) 2017-11-07
CN107332848B true CN107332848B (zh) 2020-05-12

Family

ID=60196811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542877.7A Active CN107332848B (zh) 2017-07-05 2017-07-05 一种基于大数据的网络流量异常实时监测系统

Country Status (1)

Country Link
CN (1) CN107332848B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038155A (zh) * 2017-12-02 2018-05-15 宝牧科技（天津）有限公司 一种网络url异常的检测方法
CN107888616B (zh) * 2017-12-06 2020-06-05 北京知道创宇信息技术股份有限公司 基于URI的分类模型的构建方法和Webshell攻击网站的检测方法
CN110198476B (zh) * 2018-02-27 2021-09-07 武汉斗鱼网络科技有限公司 弹幕行为异常检测方法、存储介质、电子设备及系统
CN108600200B (zh) * 2018-04-08 2021-06-11 腾讯科技（深圳）有限公司 域名检测方法、装置、计算机设备及存储介质
CN108573753A (zh) * 2018-04-26 2018-09-25 葛晓雪 一种融合Bagging的XGboost慢性肾病分期预测算法
CN109871688B (zh) * 2018-09-21 2020-12-18 中国人民解放军国防科技大学 漏洞威胁程度评估方法
CN110138786A (zh) * 2019-05-20 2019-08-16 福州大学 基于SMOTETomek和LightGBM的Web异常检测方法及系统
CN110336712B (zh) * 2019-07-01 2022-10-28 Oppo广东移动通信有限公司 移动终端抓取空中包的方法、装置、存储介质与移动终端
CN111131149A (zh) * 2019-11-13 2020-05-08 江苏飞搏软件股份有限公司 一种跨域采集移动终端数据并分析异常访问的方法
CN112788008B (zh) * 2020-12-30 2022-04-26 上海磐御网络科技有限公司 一种基于大数据的网络安全动态防御系统及方法
CN115052323B (zh) * 2022-08-15 2022-11-08 晨越建设项目管理集团股份有限公司 一种基于大数据的智慧城市移动服务系统
CN116150288B (zh) * 2023-04-17 2023-07-07 山东工程职业技术大学 一种基于计算机的网络数据分析处理系统
CN116614418A (zh) * 2023-07-19 2023-08-18 中国电信股份有限公司江西分公司 一种基于云计算平台的服务器保护方法
CN117176483A (zh) * 2023-11-03 2023-12-05 北京艾瑞数智科技有限公司 一种异常url的识别方法、装置及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145622B2 (en) * 2009-01-09 2012-03-27 Microsoft Corporation System for finding queries aiming at tail URLs
CN104766014A (zh) * 2015-04-30 2015-07-08 安一恒通（北京）科技有限公司 用于检测恶意网址的方法和系统
CN106131071A (zh) * 2016-08-26 2016-11-16 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN106357618A (zh) * 2016-08-26 2017-01-25 北京奇虎科技有限公司 一种Web异常检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145622B2 (en) * 2009-01-09 2012-03-27 Microsoft Corporation System for finding queries aiming at tail URLs
CN104766014A (zh) * 2015-04-30 2015-07-08 安一恒通（北京）科技有限公司 用于检测恶意网址的方法和系统
CN106131071A (zh) * 2016-08-26 2016-11-16 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN106357618A (zh) * 2016-08-26 2017-01-25 北京奇虎科技有限公司 一种Web异常检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向大规模网络流量的URL实时分类关键技术研究;沙泓州;《中国博士学位论文全文数据库（电子期刊）》;20160315;第2.4.3小节第2小节,第4.3.3小节 *

Also Published As

Publication number Publication date
CN107332848A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107332848B (zh) 一种基于大数据的网络流量异常实时监测系统
US8707431B2 (en) Insider threat detection
Najafabadi et al. User behavior anomaly detection for application layer ddos attacks
CN103559235B (zh) 一种在线社交网络恶意网页检测识别方法
CN114679338A (zh) 一种基于网络安全态势感知的网络风险评估方法
US20140047543A1 (en) Apparatus and method for detecting http botnet based on densities of web transactions
CN112491779B (zh) 一种异常行为检测方法及装置、电子设备
Yuan et al. Detecting phishing websites and targets based on URLs and webpage links
CA2762429A1 (en) Systems and methods for application-level security
CN108023868B (zh) 恶意资源地址检测方法和装置
US11997122B2 (en) Systems and methods for analyzing cybersecurity events
Gupta et al. Performance analysis of anti-phishing tools and study of classification data mining algorithms for a novel anti-phishing system
CN108337269A (zh) 一种WebShell检测方法
Soleymani et al. A Novel Approach for Detecting DGA‐Based Botnets in DNS Queries Using Machine Learning Techniques
CN113904881A (zh) 一种入侵检测规则误报处理方法和装置
Hwang et al. Semi-supervised based unknown attack detection in EDR environment
Pejić-Bach et al. A bibliometric analysis of phishing in the Big Data Era: High focus on algorithms and low focus on people
Patil et al. Learning to detect phishing web pages using lexical and string complexity analysis
CN116455623A (zh) 基于大数据识别技术的计算机信息安全共享系统及方法
Liao et al. An Intelligent Cyber Threat Classification System
Saha et al. Mobile device and social media forensic analysis: impacts on cyber-crime
EP2991305B1 (en) Apparatus and method for identifying web page for industrial control system
CN113572781A (zh) 网络安全威胁信息归集方法
Jansi An Effective Model of Terminating Phishing Websites and Detection Based On Logistic Regression
Guichang et al. CNNPayl: an intrusion detection system of cross-site script detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant