CN106911640A - 网络威胁处理方法和装置 - Google Patents

网络威胁处理方法和装置 Download PDF

Info

Publication number
CN106911640A
CN106911640A CN201510977374.3A CN201510977374A CN106911640A CN 106911640 A CN106911640 A CN 106911640A CN 201510977374 A CN201510977374 A CN 201510977374A CN 106911640 A CN106911640 A CN 106911640A
Authority
CN
China
Prior art keywords
network
data message
network data
attack
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510977374.3A
Other languages
English (en)
Inventor
张聪
张卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510977374.3A priority Critical patent/CN106911640A/zh
Publication of CN106911640A publication Critical patent/CN106911640A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网络威胁处理方法和装置,其中该方法包括:侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;对存储的网络数据报文进行还原处理,对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。通过本发明能够及时发现并处理新型网络威胁,包括已知攻击行为以及未知攻击行为,达到保证网络免受不安全的威胁的有益效果。

Description

网络威胁处理方法和装置
技术领域
本发明涉及互联网应用技术领域,尤其涉及一种网络威胁处理方法和装置。
背景技术
随着信息社会的发展,网络信息安全越来越深入人们的生活。信息泄露、数据丢失、用户隐私泄露等信息安全事故频繁发生造成了重大的经济损失,并对社会产生了重大不良影响。甚至,信息安全事故会危及国家安全。
随着科技的发展,网络威胁已经有了新的特点,传统网络威胁检测是通过签名特征来进行区别。新型网络威胁逐渐实现了从恶作剧向商业利益的属性转变、从个人向团伙组织的发起人转变,以及从普通病毒木马向高级持续性攻击(Advanced Persistent Threat,以下简称APT)的技术转变。这些转变均使得网络信息安全遭受更大的威胁。新型网络威胁不仅手段隐蔽,并且现有技术中的安全防御体系无法掌握其漏洞以及技术。因此,传统的安全防御体系无法采取相应技术手段解决新型网络威胁,导致人们生产生活的信息受到了更为严峻的安全威胁,而这些安全威胁一旦真实发生,对经济、社会甚至国家安全会造成难以估计的毁灭性影响。
因此,现有技术对于新兴的网络威胁无法做到及时有效发现。
发明内容
本发明的主要目的在于提供一种网络威胁处理方法和装置。
根据本发明实施例提供了一种网络威胁处理方法,包括:
侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
对存储的网络数据报文进行还原处理,对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。
根据本发明实施例还提供了一种网络威胁处理装置,包括:
侦听模块,配置为侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
全流量存储模块,配置为对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
还原处理模块,配置为对存储的网络数据报文进行还原处理;
检测模块,配置为对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。
根据本发明的技术方案,通过实时侦听网络设备的网络访问行为,并获取网络数据报文能够动态发现未知攻击的漏洞攻击以及未知攻击的隐秘信道等信息,并且能够快速检测未知攻击。另外,本发明实施例对获取的网络数据报文进行存储,形成大数据级别的历史数据,并对大数据进行分析挖掘,进而能够对高级、隐蔽的攻击进行检测,是解决对由于现有技术的限制而漏检的攻击进行补查的有效手段。综上,采用本发明实施例提供的网络威胁处理方法能够及时发现并处理新型网络威胁,包括已知攻击行为以及未知攻击行为,达到保证人们生产生活甚至国家安全不受网络信息不安全的威胁的有益效果。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的网络威胁处理方法的处理流程图;
图2示出了根据本发明一个实施例的本地检测引擎与云检测引擎组成“天眼系统”的结构框图;
图3示出根据本发明一个优选实施例的网络威胁处理方法的处理流程图;
图4示出了根据本发明一个实施例的实时分析模块的处理流程图;
图5示出了根据本发明一个实施例的网络威胁处理装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
相关技术中提及,新型网络威胁不仅手段隐蔽,并且现有技术中的安全防御体系无法掌握其漏洞以及技术。因此,传统的安全防御体系无法采取相应技术手段解决新型网络威胁,导致人们生产生活的信息受到了更为严峻的安全威胁,而这些安全威胁一旦真实发生,对经济、社会甚至国家安全会造成难以估计的毁灭性影响。
为解决上述技术问题,本发明实施例提出了一种网络威胁处理方法。图1示出了根据本发明一个实施例的网络威胁处理方法的处理流程图。参见图1,该流程至少包括步骤S102至步骤S106。
步骤S102,侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
步骤S104,对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
步骤S106,对存储的网络数据报文进行还原处理,对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为
依据本发明实施例提供的网络威胁处理方法能够侦听网络设备的网络访问行为,获取网络数据报文,并通过对网络数据报文进行分析提取元数据,根据对元数据进行检测确定已知或者未知的攻击行为,解决现有技术中无法掌握新型网络威胁(包括已知攻击以及未知攻击)的漏洞及技术,进而无法采取相应技术手段解决新型网络威胁的问题。本发明实施例提供的网络威胁处理方法通过实时侦听网络设备的网络访问行为,并获取网络数据报文能够动态发现未知攻击的漏洞攻击以及未知攻击的隐秘信道等信息,并且能够快速检测未知攻击。另外,本发明实施例对获取的网络数据报文进行存储,形成大数据级别的历史数据,并对大数据进行分析挖掘,进而能够对高级、隐蔽的攻击进行检测,是解决对由于现有技术的限制而漏检的攻击进行补查的有效手段。综上,采用本发明实施例提供的网络威胁处理方法能够及时发现并处理新型网络威胁,包括已知攻击行为以及未知攻击行为,达到保证人们生产生活甚至国家安全不受网络信息不安全的威胁的有益效果。
上文提及,本发明实施例能够检测并处理网络的攻击行为。另外,如图2所示,本发明实施例能够运用于本地检测引擎220,并结合现有技术中的云检测引擎230组成一个“天眼系统”(其中,“天眼”仅为系统名称,对本地检测引擎以及云检测引擎组成的系统的功能、属性以及作用等方面均不构成任何影响),对网络设备210中的网络威胁(包括网络攻击行为等)进行检测处理,做到对网络威胁“天网恢恢疏而不漏”,更加全面、广泛以及具体的处理网络威胁。
现以运用于本地检测引擎220的网络威胁处理方法为例,对本发明实施例提供的网络威胁处理方法进行介绍。如图3所示的根据本发明一个优选实施例的网络威胁处理方法的处理流程图,包括以下步骤:
步骤S302,侦听网络设备的网络访问行为。
步骤S304,在侦听的过程中,实时执行获取网络数据报文。本发明实施例中,侦听网络设备的网络访问行为能够对网络设备的网络访问行为进行实时监测,保证及时获取网络设备的网络访问行为。进一步,能够保证任何攻击行为发生之前,本发明实施例能够及时检测到攻击行为并进行合理有效处理,保证网络安全。因此,本发明实施例在整个网络威胁处理流程中对网络设备的网络访问行为进行侦听,并实时执行步骤S304,获取网络数据报文。
在本发明实施例中,通过零拷贝技术获取网络数据报文。简单来说,零拷贝技术是一种避免CPU将数据从一块存储拷贝到另外一块存储的技术。通过零拷贝技术,能够避免操作系统内核缓冲区之间进行数据拷贝操作、以及避免操作系统内核和用户应用程序地址空间之间进行数据拷贝操作,用户应用程序可以避免操作系统直接访问硬件存储,数据传输尽量让DMA来处理。
步骤S306,为保证在后续分析中能够及时获取历史网络数据报文进行对比,以便更深层次分析网络数据报文达到更加高效地网络威胁处理性能,本发明实施例对获取到的网络数据报文进行全流量存储。
然后,对网络数据报文进行分析。本发明实施例中,对获取到的网络数据报文进行分析可以是分析网络数据报文的源网络地址,还可以是分析网络数据报文的目的地址等。优选地,本发明实施例中,为在后续操作中能够准确对网络数据报文中的攻击行为进行检测和处理,在对获取到的网络数据报文进行分析时,对获取的网络数据报文进行分类。并且,针对每一类别,本发明实施例选择相应的策略检测攻击行为。在对获取的网络数据报文进行分类时,本发明实施例可以根据源地址或者目的地址或者其他任意信息将网络数据报文进行分类,并根据分类结果选择相应的策略检测攻击行为。由于根据网络数据报文的数据能够更加全面以及准确地对网络数据报文进行分类,因此,优选地,本发明实施例中根据各网络数据报文的属性,将获取的数据分为文件类数据报文和/或非文件类数据报文。即,根据对获取到的网络数据报文的分析,网络数据报文可以是文件类数据报文,可以是非文件类数据报文,还可以是文件类数据报文以及非文件类数据报文的组合。
步骤S308,对网络数据报文进行分类之后,确定网络数据报文是否为文件类数据报文。若是,执行步骤S310,将确定的文件类数据报文还原为文件。具体地,通过多线程下载所述网络数据报文(主文件)的多个数据块(数据块1、数据块2…数据块n),分别存储数据块1、数据块2…数据块n的数据内容和块信息。在存储时,分别命名每个数据内容文件并存储,并可以以SIP协议中的地址、HOST主机地址、和URL地址作为秘钥(key)存储块信息。然后,读取所述数据内容和块信息并拼接还原为所述网络数据报文(主文件)。之后,对还原的文件进行检测,检测文件是否具有恶意行为。在对文件进行检测的过程中,为保证将被检测的文件完全与正在运行的程序隔离,进而保证检测过程中被检测文件不会出现攻击行为,本发明实施例利用沙箱检测方式对还原的文件进行检测,如图3中的步骤S312所示。其中,对文件的检测为基于网络异常行为检测原理,检测文件是否具有恶意行为。若根据步骤S308的判断,网络数据报文为非文件类数据报文,则直接执行步骤S312,基于网络异常行为检测原理,检测网络数据报文的已知攻击行为和/或未知攻击行为。当网络数据报文为文件类数据报文以及非文件类数据报文的组合时,将网络数据报文分为文件类数据报文部分以及非文件类数据报文部分,并分别按照上文提及的步骤进行操作,在此不作赘述。
优选的,当存储的网络数据报文的数量级到达大数据级别时,本发明实施例对存储的网络数据报文进行大数据分析的攻击检测,确定攻击行为,和/或对已确定的攻击行为,基于大数据分析对攻击行为进行回溯。优选地,本发明实施例中,基于大数据分析对攻击行为进行回溯的操作可以是定位攻击行为的攻击源、还原攻击行为相对应的方位行为以及还原攻击行为相对应在的访问内容等能够对攻击行为进行分析的其中一项或者几项任意操作,本发明实施例对此并不加以限定。
当根据如图3所示的网络威胁处理方法的处理流程检测元数据并确定出攻击行为之后,本发明实施例还可以根据未知的攻击行为,对网络设备上使用的安全装置进行升级,使网络设备上使用的安全装置能够防御未知的攻击行为。并且,本文中曾提及能够将本地检测引擎以及云检测引擎组成“天眼系统”对网络设备中的网络威胁进行检测处理(具体请见附图2及其对应说明)。因此,需要说明的是,本发明实施例能够通过本地检测引擎和/或云检测引擎检测元数据并确定攻击行为。
在本发明实施例中,还可以基于深度包检测技术对应用层协议的网络数据报文进行检测,以消除误报;其中,所述应用层协议包括但不限于:HTTP协议、SMTP协议、PoP3协议。当IP数据包、TCP或UDP数据流通过基于DPI(Deep Pack Inspection,深度包检测)技术的带宽管理系统时,该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。针对不同的协议类型,DPI识别技术可划分为以下三类:
第一类是特征字的识别技术:不同的应用通常会采用不同的协议,而各种协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于特征字的识别技术,正是通过识别数据报文中的指纹信息来确定业务所承载的应用。根据具体检测方式的不同,基于特征字的识别技术又可细分为固定特征位置匹配、变动特征位置匹配和状态特征字匹配三种分支技术。通过对指纹信息的升级,基于特征字的识别技术可以方便的扩展到对新协议的检测。
第二类是应用层网关识别技术:在实际应用中,有一类的控制流和业务流是分离的,如与7号信令相关的业务,其业务流没有任何特征,应用层网管识别技术针对的对象就是此类业务,首先由应用层网管识别出控制流,并根据控制流协议选择特定的应用层网关对业务流进行解析,从而识别出相应的业务流。对于每一个协议,需要不同的应用层网关对其进行分析。例如:H323、SIP等协议,就属于此类,其通过信令交互过程,协商得到其数据通道,一般是RTP格式封装的语音流,纯粹检测RTP流并不能确定这条RTP流是通过那种协议建立起来的,即判断其是何种业务,只有通过检测SIP或H232的协议交互,才能得到其完整的分析。
第三类是行为模式识别技术:在实施行为模式技术之前,运营商首先必须先对终端的各种行为进行研究,并在此基础上建立行为识别模型,基于行为识别模型,行为模式识别技术即根据客户已经实施的行为,判断客户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于那些无法由协议本身就能判别的业务,例如:从电子邮件的内容看,垃圾邮件和普通邮件的业务流两者间根本没有区别,只有进一步分析,具体根据发送邮件的大小、频率,目的邮件和源邮件地址、变化的频率和被拒绝的频率等综合分析,建立综合识别模型,才能判断是否为垃圾邮件。
上文根据图3所示的流程图对本发明实施例提供的网络威胁处理方法进行了介绍,为更加深入清晰地阐述本发明实施例提供的网络威胁处理方法,现使用优选实施例对本发明实施例提供的网络威胁处理方法中的几个模块进行进一步介绍。具体地,现对本发明实施例提供的网络威胁处理方法中的实时分析模块(即图3所示的步骤S306中提及的对网络数据报文进行分析的部分,现简称为实时分析模块)、沙箱检测模块(即图3所示的步骤S312中提及的沙箱检测部分,现简称沙箱模块)、已知/未知攻击检测模块(即图3所示的步骤S312中提及的检测已知/未知攻击行为部分,现简称已知/未知攻击检测模块)以及基于大数据分析的攻击检测与回溯模块(即图3所示的步骤S312中提及的攻击检测和回溯部分,现简称基于大数据分析的攻击检测与回溯模块)。
首先介绍实时分析模块。如图4所示的实时分析模块的处理流程图。首先,对Ethernet(以太网)/VLAN(虚拟局域网)/MPLS(多协议标签交换)等任意二层协议进行解析。其次,进一步对TCP/IP协议进行解析。最后,对应用层协议进行识别。在本发明的优选实施例中,为一个webmail(即网络邮件)内容解析,首先对超文本传送协议进行解析。其次,进入对应用层协议的识别,识别到该应用为网络邮件。进而对网络邮件进行解析得到文本以及用以支持邮件中附加数据(如声音文件、视频文件等)的MIME(即多用途互联网邮件扩展)。其中,文本文件为能够直接检测的元数据。而对于MIME则需要进行进一步解析。
对需要继续解析的文件进行解压缩得到不同格式的文件,例如便携文档(Portable Document Format,以下简称PDF)格式的文件以及PPT(微软公司设计的一种演示文稿软件)格式的文件。其中,对PPT格式的文件进一步解析能够得到可检测的元数据,文本文件以及Excel(一种试算表软件)格式的文件。而对PDF格式的文件进行解析时,得到可直接检测的文本文件以及不可直接检测的Deflate(一种无损数据压缩算法)格式的文件。对于Deflate格式的文件则需要进一步解析,直至得到全部可检测的元数据,则实时解析结束。
其次介绍沙箱检测模块。获取到网络数据报文之后,首先对网络数据报文的文件类型进行分析,并得到可移植执行体文件(Portable Execute,以下简称PE文件)和/或非可移植执行体文件(以下简称非PE文件)。对于PE文件以及非PE文件分别进行静态检测、半动态检测以及动态检测过程,并根据检测结果进行恶意行为分析。当获取到网络数据报文之后,若判断获取到的网络数据报文为文件类数据报文,则将文件类数据报文还原为文件。例如,邮件附件还原、web(网络)文件还原以及FTP(文件传输协议)文件还原等等。还原之后,对文件进行静态攻击代码初筛,对文件进行静态检测的过程。
当静态检测完毕之后,若检测出攻击代码,则确定文件具有恶意行为,继而进行相应处理。若没有检测出静态攻击代码,则利用沙箱对文件进行半动态以及动态检测。将应用程序的还原文件,如Office(微软公司的一款办公软件)、PDF、Flash(一种集动画创作与应用程序开发于一身的创作软件)以及其他任意应用的还原文件放入沙箱进行检测。根据沙箱检测,能够动态获取各个应用的还原文件是否具有恶意行为的信息,还可以动态获取各个应用的还原文件的可疑程度。例如,在2013年10月18日22时27分10秒时,在文件名称为“啦啦生活网”的压缩文件中,其启动宿主进程,注入代码的操作行为可疑程度为4个星,其设置远程线程上下文的操作行为可疑程度为3个星,其在其他进程中申请内存的操作行为可疑程度为一个星。其中,星的个数越多代表可疑程度越高,则其操作行为是恶意行为的可能性越高。需要说明的是,本优选实施例中提及的时间、软件名称、文件名称以及可疑程度评定方法等均为示例,均无法代表实际运用中能够出现的各个信息详情。
对文件进行解压缩得到可检测的元数据。其中,若文件为PE文件,则首先对文件进行云查杀,例如使用奇虎支持向量机(Qihoo Support VectorMachine,以下简称QVM)或者云AVE引擎。通过云查杀的PE文件利用沙箱检测方式进行再次完整分析检测。对于非PE文件,例如富文本格式(RichText Format,以下简称为RTF格式)、PDF格式、Doc(一种文件扩展名)格式、docx(一种文件扩展名)格式以及excel格式等等,若文件为能够继续解压缩的文档,则返回继续进行解压缩操作,若文件为可检测的元数据,则进行QEX静态分析、填充数据(shellcode)半动态检测以及lightVM轻量动态分析。之后,利用沙箱检测对通过以上三种检测的元数据再次进行检测。在对文件是否具有恶意行为的检测时,优选地,本发明实施例中,可以将恶意行为的危险等级分为三个等级。第一,高危,即能够确认元数据为恶意代码,如确定的木马样本、明显的恶意行为或者能够触发的漏洞利用等。第二,中危,即存在疑似恶意行为,但无法确定的,或者疑似漏洞利用,但尚没有确定的恶意行为,例如发现样本会访问以下敏感的位置,或者样本导致程序崩溃,但没有触发执行。第三,低危,即非经过确认的无恶意文件,可能会危害系统安全,可以理解为存在风险的文件。
对实时分析模块以及沙箱检测模块介绍完毕之后,对已知/未知攻击检测模块进行介绍。当对获取到的网络数据报文判断为非文件类数据报文之后,本发明实施例基于网络异常行为检测原理,对已知/未知攻击行为进行检测。首先对在网络数据报文中提取出的元数据进行网络行为信息的提取。其次,对提取到的网络行为信息进行多维度的网络行为统计。之后,依据统计结果,利用决策树分类规则建立网络异常行为模型,并使用网络异常行为模型确定攻击行为。
另外,在进行上文提及的网络异常行为模型的建立时,本发明实施例使用存储的网络数据报文。在对本发明实施例提供的网络威胁处理方法进行介绍时提及,本发明实施例中,对捕捉到的网络数据报文进行全流量存储,当存储的网络数据报文的数量级到达大数据级别时,可以对已确定的攻击行为,基于大数据分析对攻击行为进行回溯。因此,下面首先介绍基于大数据分析的攻击检测与回溯模块,其次,介绍使用存储的网络数据报文建立网络异常行为模型。
本发明实施例对捕捉到的网络数据报文进行全流量存储,得到全流量数据,例如网络的访问记录信息、网络的所有对内对外的web访问请求以及网络或者邮件传输的文件。可以采用聚类算法对全流量数据进行分析,可以对全流量数据进行机器学习以及规则提取操作,还可以对全流量数据进行数据关联分析操作等。通过以上多维度的网络行为分析统计,能够建立网络异常行为模型以及确定攻击关系。继而,通过建立的网络异常行为模型以及确定的攻击关系能够进行已知攻击检测、未知攻击检测以及APT攻击过程回溯等操作。
通过侦听网络流量、获取终端日志以及获取设备日志等行为能够获取到网络数据报文,将获取到的网络数据报文进行全流量存储。当存储的网络数据报文的数量级到达大数据级别时,进行大数据挖掘计算以及历史数据行为分析。其中,对历史数据进行行为分析之后得到的分析结果能够加入行为模型库以备后续分析使用,而通过大数据挖掘计算能够提取网络行为模型,也可以将提取的网络行为模型加入行为模型库。另外,行为模型库能够反过来作为历史数据行为分析的历史数据。通过对历史数据行为的分析能够获取到漏洞利用攻击、可疑行为、APT过程以及隐蔽信道等未知攻击的信息。进一步,能够检测并确定已知或者未知的攻击行为。
例如,在本申请的一个实施例中,服务器接收客户端的主动访问,为客户端提供各种应答服务,服务器仅在有限的情形中主动发起访问行为,如获取系统补丁等,如果侦听到的流量中服务器主动访问欧洲某DNS服务器,则服务器的访问操作与其历史数据行为不符,说明存在可疑行为,需要进行进一步的检测。
上文对本发明实施例提供的网络威胁处理方法以及其中具体的模块信息进行了介绍,为将本发明实施例提供的网络威胁处理方法阐述得更加直观、清楚,现提供一个具体实施例。
基于上文各优选实施例提供的网络威胁处理方法,基于同一发明构思,本发明实施例提供了一种网络威胁处理设备,用于实现上述网络威胁处理方法。
图5示出了根据本发明一个实施例的网络威胁处理装置的结构示意图。参见图5,本发明实施例的网络威胁处理装置至少包括:侦听模块510、全流量存储模块520、还原处理模块530以及检测模块540。
现介绍本发明实施例的网络威胁处理装置的各器件或组成的功能以及各部分间的连接关系:
侦听模块510,配置为侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
全流量存储模块520,配置为对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
还原处理模块530,配置为对存储的网络数据报文进行还原处理,
检测模块540,配置为对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。
在一个优选的实施例中,所述网络威胁处理装置还包括分类模块(未示出),配置为对存储的网络数据报文进行分类,根据网络数据报文的属性将存储的数据分为文件类数据报文和/或非文件类数据报文;所述检测模块还配置为:根据数据报文的类别选择相应的策略检测攻击行为。
在一个优选的实施例中,所述还原处理模块还配置为:通过多线程下载所述网络数据报文的多个数据块,分别存储所述数据块的数据内容和块信息;读取所述数据内容和块信息并拼接为所述网络数据报文。
在一个优选的实施例中,所述检测模块还配置为:基于深度包检测技术对应用层协议的网络数据报文进行检测,以消除误报;其中,所述应用层协议至少包括:HTTP协议、SMTP协议、PoP3协议。
在一个优选的实施例中,所述检测模块还配置为:对于所述非文件类数据报文,基于网络异常行为检测原理,检测所述非文件类数据报文是否具有恶意行为。
在一个优选的实施例中,所述检测模块还配置为:提取所述网络数据报文的网络行为信息;对所述网络行为信息进行多维度网络行为统计;依据统计结果,利用决策树分类规则建立网络异常行为模型;使用所述网络异常行为模型确定出攻击行为。
根据上述任意一个优选实施例或多个优选实施例的组合,本发明实施例能够达到如下有益效果:
依据本发明实施例提供的网络威胁处理方法能够侦听网络设备的网络访问行为,获取网络数据报文,并通过对网络数据报文进行分析提取元数据,根据对元数据进行检测确定已知或者未知的攻击行为,解决现有技术中无法掌握新型网络威胁(包括已知攻击以及未知攻击)的漏洞及技术,进而无法采取相应技术手段解决新型网络威胁的问题。本发明实施例提供的网络威胁处理方法通过实时侦听网络设备的网络访问行为,并获取网络数据报文能够动态发现未知攻击的漏洞攻击以及未知攻击的迷信隐秘信道,并且能够快速检测未知攻击。另外,本发明实施例对获取的网络数据报文进行存储,形成大数据级别的历史数据,并对大数据进行分析挖掘,进而能够对高级、隐蔽的攻击进行检测,是解决对由于现有技术的限制而漏检的攻击进行补查的有效手段。综上,采用本发明实施例提供的网络威胁处理方法能够及时发现并处理新型网络威胁,包括已知攻击行为以及未知攻击行为,达到保证人们生产生活甚至国家安全不受网络信息不安全的威胁的有益效果。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网络威胁处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种网络威胁处理方法,包括:
侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
对存储的网络数据报文进行还原处理,对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。
2.根据权利要求1所述的方法,其中,所述通过零拷贝技术获取网络数据报文包括:
将数据报文缓存至先进先出队列中,其中根据系统的CPU数量配置所述先进先出队列;
基于直接内存访问技术,将先进先出队列中的数据报文传输至预配置的循环缓存区,并获取所述循环缓存区中的数据报文。
3.根据权利要求1所述的方法,其中,还包括:
基于深度包检测技术对应用层协议的网络数据报文进行检测,以消除误报;
其中,所述应用层协议至少包括:HTTP协议、SMTP协议、PoP3协议。
4.根据权利要求1所述的方法,其中,所述对存储的网络数据报文进行还原处理,包括:
通过多线程下载所述网络数据报文的多个数据块,分别存储所述数据块的数据内容和块信息;
读取所述数据内容和块信息并拼接为所述网络数据报文。
5.根据权利要求1所述的方法,其中,还包括:
对存储的网络数据报文进行分类,对于文件类数据报文,将其还原为文件,并对还原的文件选择相应的策略进行攻击检测,基于网络异常行为检测原理,检测出攻击行为;
所述基于网络异常行为检测原理,检测出攻击行为,包括:提取所述网络数据报文的网络行为信息;对所述网络行为信息进行多维度网络行为统计;依据统计结果,利用决策树分类规则建立网络异常行为模型;使用所述网络异常行为模型确定出攻击行为。
6.一种网络威胁处理装置,包括:
侦听模块,配置为侦听网络设备的网络访问行为,并通过零拷贝技术获取网络数据报文;
全流量存储模块,配置为对获取到的网络数据报文进行全流量存储得到全流量的网络数据报文;
还原处理模块,配置为对存储的网络数据报文进行还原处理;
检测模块,配置为对还原的网络数据报文进行攻击检测从而确定是否具有恶意行为。
7.根据权利要求6所述的装置,其中,
所述侦听模块还配置为,将数据报文缓存至先进先出队列中,其中根据系统的CPU数量配置所述先进先出队列;基于直接内存访问技术,将先进先出队列中的数据报文传输至预配置的循环缓存区,并获取所述循环缓存区中的数据报文。
8.根据权利要求6所述的装置,其中,
所述检测模块还配置为:基于深度包检测技术对应用层协议的网络数据报文进行检测,以消除误报;其中,所述应用层协议至少包括:HTTP协议、SMTP协议、PoP3协议。
9.根据权利要求6所述的装置,其中,
所述还原处理模块还配置为,通过多线程下载所述网络数据报文的多个数据块,分别存储所述数据块的数据内容和块信息;读取所述数据内容和块信息并拼接为所述网络数据报文。
10.根据权利要求6所述的装置,其中,还包括:
分类模块,配置为对存储的网络数据报文进行分类;
所述检测模块还配置为,对于文件类数据报文,将其还原为文件,并对还原的文件选择相应的策略进行攻击检测,基于网络异常行为检测原理,检测出攻击行为;
所述检测模块还配置为,提取所述网络数据报文的网络行为信息;对所述网络行为信息进行多维度网络行为统计;依据统计结果,利用决策树分类规则建立网络异常行为模型;使用所述网络异常行为模型确定出攻击行为。
CN201510977374.3A 2015-12-23 2015-12-23 网络威胁处理方法和装置 Pending CN106911640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510977374.3A CN106911640A (zh) 2015-12-23 2015-12-23 网络威胁处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510977374.3A CN106911640A (zh) 2015-12-23 2015-12-23 网络威胁处理方法和装置

Publications (1)

Publication Number Publication Date
CN106911640A true CN106911640A (zh) 2017-06-30

Family

ID=59199476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510977374.3A Pending CN106911640A (zh) 2015-12-23 2015-12-23 网络威胁处理方法和装置

Country Status (1)

Country Link
CN (1) CN106911640A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798429A (zh) * 2018-08-01 2020-02-14 深信服科技股份有限公司 一种网络安全防御中的威胁追捕方法、装置及设备
CN111049780A (zh) * 2018-10-12 2020-04-21 北京奇虎科技有限公司 一种网络攻击的检测方法、装置、设备及存储介质
CN114039774A (zh) * 2021-11-08 2022-02-11 北京天融信网络安全技术有限公司 一种恶意pe程序的阻断方法、检测方法及装置
CN114553513A (zh) * 2022-02-15 2022-05-27 北京华圣龙源科技有限公司 一种通信检测方法、装置及设备
CN114900359A (zh) * 2022-05-09 2022-08-12 山东至信信息科技股份有限公司 一种网络安全事件回溯方法和系统
EP3918500B1 (en) * 2019-03-05 2024-04-24 Siemens Industry Software Inc. Machine learning-based anomaly detections for embedded software applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060123481A1 (en) * 2004-12-07 2006-06-08 Nortel Networks Limited Method and apparatus for network immunization
CN102316074A (zh) * 2010-07-01 2012-01-11 电子科技大学 基于libnids的http协议多线程还原方法
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN104253786A (zh) * 2013-06-26 2014-12-31 北京思普崚技术有限公司 一种基于正则表达式的深度包检测方法
CN104506379A (zh) * 2014-12-12 2015-04-08 北京锐安科技有限公司 网络数据捕获方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060123481A1 (en) * 2004-12-07 2006-06-08 Nortel Networks Limited Method and apparatus for network immunization
CN102316074A (zh) * 2010-07-01 2012-01-11 电子科技大学 基于libnids的http协议多线程还原方法
CN104253786A (zh) * 2013-06-26 2014-12-31 北京思普崚技术有限公司 一种基于正则表达式的深度包检测方法
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN104506379A (zh) * 2014-12-12 2015-04-08 北京锐安科技有限公司 网络数据捕获方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798429A (zh) * 2018-08-01 2020-02-14 深信服科技股份有限公司 一种网络安全防御中的威胁追捕方法、装置及设备
CN111049780A (zh) * 2018-10-12 2020-04-21 北京奇虎科技有限公司 一种网络攻击的检测方法、装置、设备及存储介质
CN111049780B (zh) * 2018-10-12 2022-12-02 北京奇虎科技有限公司 一种网络攻击的检测方法、装置、设备及存储介质
EP3918500B1 (en) * 2019-03-05 2024-04-24 Siemens Industry Software Inc. Machine learning-based anomaly detections for embedded software applications
CN114039774A (zh) * 2021-11-08 2022-02-11 北京天融信网络安全技术有限公司 一种恶意pe程序的阻断方法、检测方法及装置
CN114039774B (zh) * 2021-11-08 2024-02-09 天融信雄安网络安全技术有限公司 一种恶意pe程序的阻断方法、检测方法及装置
CN114553513A (zh) * 2022-02-15 2022-05-27 北京华圣龙源科技有限公司 一种通信检测方法、装置及设备
CN114900359A (zh) * 2022-05-09 2022-08-12 山东至信信息科技股份有限公司 一种网络安全事件回溯方法和系统

Similar Documents

Publication Publication Date Title
CN106911637A (zh) 网络威胁处理方法和装置
CN106911640A (zh) 网络威胁处理方法和装置
JP6441957B2 (ja) 疑わしいオブジェクトにおけるエクスプロイトを自動的に実証し、当該実証済みエクスプロイトに関連付けられた表示情報を強調するシステム、装置、および方法
US20170054745A1 (en) Method and device for processing network threat
Wang et al. Seeing through network-protocol obfuscation
CN103634306B (zh) 网络数据的安全检测方法和安全检测服务器
Al-Asli et al. Review of signature-based techniques in antivirus products
US8762386B2 (en) Method and apparatus for data capture and analysis system
JP4490994B2 (ja) ネットワークセキュリティデバイスにおけるパケット分類
US20210258791A1 (en) Method for http-based access point fingerprint and classification using machine learning
CN106470214B (zh) 攻击检测方法和装置
US8522348B2 (en) Matching with a large vulnerability signature ruleset for high performance network defense
CN109922075A (zh) 网络安全知识图谱构建方法和装置、计算机设备
EP2850781B1 (en) Methods, systems, and computer readable media for measuring detection accuracy of a security device using benign traffic
WO2018076697A1 (zh) 僵尸特征的检测方法和装置
US20080313708A1 (en) Data content matching
WO2017056121A1 (en) Method for the identification and prevention of client-side web attacks
CN103731429A (zh) web应用漏洞检测方法及装置
Angiulli et al. Exploiting n-gram location for intrusion detection
CN103944788A (zh) 基于网络通信行为的未知木马检测方法
US10965693B2 (en) Method and system for detecting movement of malware and other potential threats
Weng et al. Deep packet pre-filtering and finite state encoding for adaptive intrusion detection system
JP4309102B2 (ja) 不正コマンド・データ検知方式、不正コマンド・データ検知方法および不正コマンド・データ検知プログラム
US10237287B1 (en) System and method for detecting a malicious activity in a computing environment
US11321453B2 (en) Method and system for detecting and classifying malware based on families

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170630