CN112714118A - 网络流量检测方法和装置 - Google Patents

网络流量检测方法和装置 Download PDF

Info

Publication number
CN112714118A
CN112714118A CN202011551314.2A CN202011551314A CN112714118A CN 112714118 A CN112714118 A CN 112714118A CN 202011551314 A CN202011551314 A CN 202011551314A CN 112714118 A CN112714118 A CN 112714118A
Authority
CN
China
Prior art keywords
target log
threat
log
current target
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011551314.2A
Other languages
English (en)
Other versions
CN112714118B (zh
Inventor
盛洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN202011551314.2A priority Critical patent/CN112714118B/zh
Publication of CN112714118A publication Critical patent/CN112714118A/zh
Application granted granted Critical
Publication of CN112714118B publication Critical patent/CN112714118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络流量检测方法和装置，涉及互联网领域，以解决现有技术导致网络流量数据处理的稳定性较低的技术问题。所述网络流量检测方法包括：获取来自于流量采集设备的流量集合；从所述流量集合中分离出HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。本申请用于网络流量检测。

Description

网络流量检测方法和装置
技术领域
本申请涉及互联网领域，尤其涉及一种网络流量检测方法和装置。
背景技术
在信息飞速发展的时代，互联网已经成为了人们日常生活中密切相关的新产物，用户在上网冲浪的同时，其中存在的信息安全问题不容忽视，为了提高广大用户的网络信息安全性，必须重视对网络实时流量的威胁分析。
现有的网络流量威胁检测，需要在网站业务服务器上部署代理服务软件，通过代理服务软件对网络流量进行实时处理。
但是，这种对网络流量数据的处理方式需要保证软件运行环境的安全性以及更新软件配置，从而会耗费大量额外的机器资源，进而导致网络流量数据处理的稳定性较低。
发明内容
本申请实施例提供一种网络流量检测方法和装置，以解决现有技术导致网络流量数据处理的稳定性较低的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供一种网络流量检测方法，所述网络流量检测方法包括：
获取来自于流量采集设备的流量集合；
从所述流量集合中分离出超文本传输协议HTTP数据流量；
对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
对所述目标格式流量数据进行检测，得到流量检测结果。
可选地，在一个实施例中，所述获取来自于流量采集设备的流量集合包括：对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合。
可选地，在一个实施例中，所述流量采集设备为交换机，所述获取来自于流量采集设备的流量集合包括：通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。
可选地，在一个实施例中，所述从所述流量集合中分离出HTTP数据流量包括：基于HTTP协议分析，从所述流量集合中分离出HTTP数据流量。
可选地，在一个实施例中，所述HTTP数据流量包括HTTP日志，所述对所述HTTP数据流量进行格式化处理，得到目标格式流量数据包括：通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；所述指定HTTP日志的格式为：【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。
可选地，在一个实施例中，在所述从所述流量集合中分离出HTTP数据流量之后，所述网络流量检测方法还包括：将所述HTTP日志推送到指定队列进行存储；从所述指定队列中读取所述HTTP日志。
可选地，在一个实施例中，所述流量检测结果包括目标日志检测结果，所述对所述目标格式流量数据进行检测，得到流量检测结果包括：基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果；其中，所述目标日志的格式元素包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。
可选地，在一个实施例中，所述威胁特征库包括第一威胁特征库和第二威胁特征库；所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：针对任一条目标日志：在第一威胁特征库中查询当前目标日志的访问者源IP和/或访问目的IP；在所述第一威胁特征库中存在当前目标日志的访问者源IP和/或访问目的IP的情况下，在第二威胁特征库中查询当前目标日志的域名；在所述第二威胁特征库中存在当前目标日志的域名的情况下，对当前目标日志的URI进行语义分析，得到语义分析结果；在所述语义分析结果指示属于攻击类型的情况下，将当前目标日志的域名、URI、访问者源IP、访问目的IP组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
可选地，在一个实施例中，所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素；所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：针对任一条目标日志：将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配；在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素，将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
可选地，在一个实施例中，所述第一格式元素包括域名、访问者源IP以及访问目的IP中的任一格式元素；所述威胁特征库中的元素包括威胁行为、威胁种类、威胁域名和威胁IP；所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP或访问目的IP的情况下，将当前目标日志的访问者源IP或访问目的IP与所述威胁特征库中的威胁IP进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述第一格式元素为URI，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：根据语义分析算法，将当前目标日志的所述URI转换成字符串特征序列；将所述字符串特征序列与所述威胁特征库中的元素进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的威胁IP；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁IP组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述目标日志中存在与配置管理库中的元素相关联的第二格式元素；所述网络流量检测方法还包括：在匹配成功的情况下，将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配；在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述第二格式元素为访问者源IP或访问目的IP，所述配置管理库中的元素包括：管理IP、部门、管理员；所述将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配包括：将当前目标日志的访问者源IP或访问目的IP与所述配置管理库中的管理IP进行匹配；所述在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的所述部门和所述管理员；所述将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志包括：将当前所述目标日志的域名、URI、访问者源IP、访问目的IP、所述威胁特征库中与当前目标日志相匹配的威胁行为、威胁种类、所述配置管理库中与当前目标日志相匹配的部门和管理员组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述网络流量检测方法还包括：检测在单位时间内所述访问者源IP是否存在指定数量的攻击行为；若单位时间内所述访问者源IP存在指定数量的攻击行为，对所述访问者源IP进行拦截封禁。
第二方面，本申请实施例提供一种网络流量检测装置，所述装置包括：
获取模块，用于获取来自于流量采集设备的流量集合；
分离模块，用于从所述流量集合中分离出HTTP数据流量；
处理模块，用于对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
检测模块，用于对所述目标格式流量数据进行检测，得到流量检测结果。
采用上述技术方案之后，本申请实施例提供的一种网络流量检测方法，获取来自于流量采集设备的流量集合；从所述流量集合中分离出HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。如此，可以直接利用外部流量采集设备收集流量集合，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过对数据流量进行格式化处理，进一步保证了数据处理的稳定性，提高了对网络流量数据检测的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的一种网络流量检测方法的流程图；
图2是本申请实施例提供的另一种网络流量检测方法的流程图；
图3是本申请实施例提供的一种网络流量检测方法的流程图；
图4是本申请实施例提供的又一种网络流量检测方法的流程图；
图5是本申请实施例提供的一种网络流量检测装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的一种网络流量检测方法，可应用于服务器等网络设备。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1是本申请实施例提供的一种网络流量检测方法的流程图。参照图1，本申请实施例提供的网络流量检测方法可包括：
步骤110，获取来自于流量采集设备的流量集合；
其中，所述流量采集设备可以是流量经过的设备，例如交换机。
步骤110中可以由服务器通过各种方式获取流量集合。服务器可具有千兆网卡、万兆网卡或者更大的网卡。
在服务器被动获取流量集合的情况下，步骤110获取来自于流量采集设备的流量集合可以包括：通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。如此，通过使用千兆网卡或者万兆网卡处理大量的流量数据，处理业务数据集中，节省硬件处理资源。
可选地，在本申请的一个实施例中，服务器也可以通过另一种方式获取流量集合。具体地，步骤110中所述获取来自于流量采集设备的流量集合可以包括：对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合。如此，服务器通过对流量采集设备的流量进行镜像复制，避免在流量采集设备上安装和配置软件，减小了对软件的维护成本，提高了数据业务的稳定性。
步骤120，从所述流量集合中分离出HTTP(Hyper Text Transfer Protocol，超文本传输协议)数据流量；
其中，HTTP数据流量可以包括HTTP日志。
步骤130，对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
步骤140，对所述目标格式流量数据进行检测，得到流量检测结果。
本申请实施例提供的一种网络流量检测方法，获取来自于流量采集设备的流量集合；从所述流量集合中分离出HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。如此，可以直接利用外部流量采集设备收集流量集合，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过对数据流量进行格式化处理，进一步保证了数据处理的稳定性，提高了对网络流量数据检测的效率。
可选地，在本申请的一个实施例中，步骤120中所述从所述流量集合中分离出HTTP数据流量可以包括：基于HTTP协议分析，从所述流量集合中分离出HTTP数据流量。如此，通过在流量采集设备上利用HTTP协议分析功能，进行HTTP日志数据与其他协议数据的分离的方式，更加便于对日志数据的集中处理，不影响服务器的稳定性。
可选地，在本申请的一个实施例中，所述HTTP数据流量包括HTTP日志。步骤130中所述对所述HTTP数据流量进行格式化处理，得到目标格式流量数据可以包括：通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志。其中，所述指定HTTP日志的格式可以为：【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。其中，IP(Internet Protocol，因特网协议)是为计算机网络相互连接进行通信而设计的协议；URI(Uniform ResourceIdentifier，统一资源标识符)是一个用于标识某一互联网资源名称的字符串。如此，通过对HTTP日志中的文本数据进行字段成分，可以得到格式统一的指定HTTP日志，便于后续高效地对这些HTTP日志进行处理。
图2是本申请实施例提供的另一种网络流量检测方法的流程图。参照图2，本申请实施例提供的网络流量检测方法可包括：
步骤210，获取来自于流量采集设备的流量集合；
步骤220，从所述流量集合中分离出HTTP日志；
步骤230，将所述HTTP日志推送到指定队列进行存储；
其中，指定队列可以是Kafka队列。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。通过kafkacat将经由流量采集设备上分离得到的HTTP日志可以推送到Kafka队列上，并可进行存储。其中，kafkacat是一款Kafka的调试工具，可以查看Kafka上相关的信息，比如查看消息等。
步骤240，从所述指定队列中读取所述HTTP日志；
其中，可由威胁事件日志管理系统Graylog(日志监控系统)去Kafka队列上可以消费日志数据，读取队列中HTTP日志。其中，Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。
需要了解的是，步骤230和步骤240是可选步骤。在本申请实施例中也可以通过其他方式读取HTTP日志，例如将HTTP日志存放在服务器的一个指定存储位置，并从此位置读取HTTP日志。
步骤250，通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；
其中，指定HTTP日志可以保存在数据库中，例如保存在Elastic Search(ES)索引数据库表中。所述指定HTTP日志的格式可以为：【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。当保存在Elastic Search(ES)索引数据库表中的情况下，所述指定HTTP日志的格式可以是：【索引名】【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。其中，ElasticSearch是一个分布式可扩展的实时搜索和分析引擎，它提供了一个分布式多用户能力的全文搜索引擎；【索引名】可以是指Elastic Search的表索引名。
步骤260，基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；
其中，查询条件可以为通过Graylog威胁事件日志管理系统提供的日志数据查询功能，利用定时任务，周期性的取得当天各个时间段的日志数据，例如取得过去1分钟产生的HTTP流量日志。如此，通过对日志数据生命周期管理自动化配置，不依赖脚本程序对日志数据进行销毁，自动化可视化完成，提高日志数据运营管理的效率。
步骤270，基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果。
其中，所述流量检测结果可以包括目标日志检测结果，所述目标日志的格式元素可以包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。
本申请实施例提供的网络流量检测方法，不仅可以通过外部流量采集设备低成本的收集流量数据，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过对文本数据进行字段拆分，进一步保证数据的完整性和稳定性，提高对网络流量数据检测的效率，并基于目标日志的格式元素和威胁特征库信息进行检测，可以及时发现威胁，阻断威胁，保护企业的网络安全，减少服务器的维护工作量。
在本申请实施例中，步骤270可以通过各种不同的方式来实现。
下面举出一种具体的实现范例。需了解，下面列出的仅是示例，并不意为限制。
可参见图3，步骤270中基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果的具体过程可以包括：针对任一条目标日志：执行步骤310、步骤320、步骤330、步骤340以及步骤350。下面对这几个步骤进行阐释。
步骤310，将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配。
当所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素时，可以将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配。
其中，所述第一格式元素可以包括域名、访问者源IP以及访问目的IP中的任一格式元素。所述威胁特征库中的元素可以包括威胁行为、威胁种类、威胁域名和威胁IP，所述威胁行为可以是威胁域名或者威胁IP对应做出的行为，例如，恶意扫描、非法攻击、数据更改等行为，所述威胁种类可以是木马、病毒等威胁。
可以理解的是，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配可以包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP的情况下，将当前目标日志的访问者源IP与所述威胁特征库中的威胁IP进行匹配；在所述第一格式元素包括访问目的IP的情况下，将当前目标日志的访问目的IP与所述威胁特征库中的威胁IP进行匹配。
步骤320，在当前目标日志的第一格式元素与所述威胁特征库中的元素匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素。
其中，匹配成功的情况可以是威胁特征库中的威胁域名和当前目标日志的域名匹配成功，可以是威胁特征库中的IP与当前目标日志的访问目的IP匹配成功，也可以是威胁特征库中的IP与当前目标日志的访问者源IP匹配成功；所述在当前目标日志的第一格式元素与所述威胁特征库中的元素匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素可以包括：在当前目标日志的第一格式元素与所述威胁特征库中的元素匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类。
步骤330，在当前目标日志的第一格式元素与所述威胁特征库中的元素匹配成功的情况下，将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配；
当所述目标日志中存在与配置管理库中的元素相关联的第二格式元素时，可以在当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配成功的情况下，再将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配。其中，所述第二格式元素可以为访问者源IP或者访问目的IP；所述配置管理库中的元素可以包括管理IP、部门和管理员。
步骤340，在当前目标日志的第二格式元素与所述配置管理库中的元素匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素，将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志；
其中，在此步骤中匹配成功的情况可以是当前目标日志的访问者源IP与配置管理库的IP匹配成功，也可以是当前目标日志的访问目的IP与配置管理库的IP匹配成功；所述在当前目标日志的第二格式元素与所述配置管理库中的元素匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素可以包括：在当前目标日志的第二格式元素与所述配置管理库中的元素匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的所述部门和所述管理员；所述将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的域名、URI、访问者源IP、访问目的IP、所述威胁特征库中与当前目标日志相匹配的威胁行为、威胁种类、所述配置管理库中与当前目标日志相匹配的部门和管理员组成一条存在安全威胁的目标日志。
步骤350，将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
为了便于理解，在此举例说明：
例如，用HTTP日志数据中的【域名】与威胁特征库中的【威胁域名】进行匹配查询，如果二者的域名是相同的即匹配成功，则可以获取威胁特征库中的【威胁行为】【威胁种类】以及HTTP日志数据中的【访问者源IP】。当HTTP日志数据中的域名与威胁特征库中的威胁域名匹配成功时，也就是说，发现当前的HTTP日志数据记录中的域名信息，是一个威胁特征库中的威胁域名，可以再将之前获取的HTTP日志数据中的【访问者源IP】与CMDB(Configuration Management Data Base，配置管理数据库)配置管理库中的【管理IP】进行匹配，找到【访问者源IP】所属于的【部门】【管理员】，然后对服务器发出的危险请求行为进行报警，告知安全人员、服务器管理员，输出例如如下告警信息：
【访问者源IP】【部门】【管理员】【域名】【威胁行为】【威胁种类】。
又例如，用HTTP日志数据中的【访问者源IP】【访问目的IP】与威胁特征库中的【威胁IP】进行匹配，如果二者的IP地址相同即匹配成功，则可以获取威胁特征库中的【威胁行为】【威胁种类】。比如，在一种情况下，如果威胁特征库的【威胁IP】与【访问目的IP】相同，可以用【访问者源IP】在CMDB配置管理库中进行关联匹配查询，查找到【访问者源IP】所对应的【部门】【管理员】，然后告知安全人员、服务器管理员，输出例如如下告警信息：
【访问者源IP】【部门】【管理员】【访问目的IP】【威胁行为】【威胁种类】。
还比如，在另一种情况下，如果威胁特征库的【威胁IP】与【访问者源IP】相同，可以用【访问目的IP】在CMDB配置管理库中进行关联匹配查询，查找到【访问目的IP】所对应的【部门】【管理员】，然后告知安全人员、服务器管理员，输出例如如下告警信息：
【访问目的IP】【部门】【管理员】【访问者源IP】【威胁行为】【威胁种类】。
本申请实施例中提供的上述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果的方式，通过与其他企业系统信息的关联匹配分析，在明确知道威胁原因的同时，可以定位资产的关键依赖人，及时发现问题第一时间联系，避免联系不到关键人造成事件延误而产生的资产损失。
可以理解的是，上述示例仅是一种基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测的方式。本申请实施例中基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测的方式并不限于上述示例。举例而言，在一示例中，另一种基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测的方式可仅包括上述步骤310-320，并在步骤320之后即可将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出，此时所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。
又举例而言，在本申请的一个实施例中，可选地，所述威胁特征库可以包括第一威胁特征库和第二威胁特征库。步骤270中所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果可以包括：针对任一条目标日志：在第一威胁特征库中可以查询当前目标日志的访问者源IP和/或访问目的IP；在所述第一威胁特征库中存在当前目标日志的访问者源IP和/或访问目的IP的情况下，在第二威胁特征库中可以查询当前目标日志的域名；在所述第二威胁特征库中存在当前目标日志的域名的情况下，对当前目标日志的URI可以进行语义分析，得到语义分析结果；在所述语义分析结果指示属于攻击类型的情况下，将当前目标日志的域名、URI、访问者源IP、访问目的IP组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
为了便于理解，在此对上面基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测的过程进行举例说明：
例如，当服务器取得目标日志当中的访问者源IP和/或访问目的IP，可以在第一威胁特征库中进行查询，如果第一威胁特征库中存在相关IP的威胁特征记录就可以对当前的IP进行标记；然后可以再在第二威胁特征库中进行查询，取得用户访问的域名，也就是目标日志的域名，如果第二威胁特征库中同样记载了这个域名是危险域名服务，可以对当前目标日志进行标记，同时保存相关IP信息；然后还可以对目标日志的URI进行语义分析，如果经过语义分析可以得出当前记录为攻击请求，可以对当前日志记录进行标记存储，若不是，则忽略。经过对日志记录的访问者源IP、访问目的IP、域名、URI的分析判断后，可以对目标日志记录进行标记保存，输出指示存在安全威胁的、可以包括所述目标日志的域名、URI、访问者源IP、访问目的IP的目标日志检测结果。
可选地，在本申请的一个实施例中，步骤310中所述第一格式元素还可以为URI，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配可以包括：根据语义分析算法，将当前目标日志的所述URI转换成字符串特征序列；将所述字符串特征序列与所述威胁特征库中的元素进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中的至少一个元素可以包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的威胁IP；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁IP组成一条存在安全威胁的目标日志。
相应地，在此情况下，本申请实施例提供的网络流量检测方法还可以包括：检测在单位时间内所述访问者源IP是否存在指定数量的攻击行为；若单位时间内存在所述访问者源IP存在指定数量的攻击行为，对所述访问者源IP进行拦截封禁。如此，通过使用语义分析的威胁检测手段，提高威胁发现的效率，解决以往正则规则发现威胁的低效性，降低人工撰写正则拦截策略不完备而造成的威胁拦截遗漏的概率。
为了便于理解，在此举例说明：
例如，取得HTTP日志数据中的【URI】信息，通过语义分析算法进行威胁语义分析，其原理如下：
语义分析算法是根据特定的语义分析特征标签，对URI数据进行威胁判定，对URI中的特定关键字先进行字符令牌转换，然后再与指定的威胁特征码进行二分法查找匹配，命中的特征越多，是威胁的可能性越大，算法类似Libinjection(一个轻量级的C语言编写的SQL(Structured Query Language，结构化查询语言)注入攻击检测库)这种语义分析库的工作原理，具体的过程是在URI中寻找指定的关键字，如含有Insert、Select、Set就会转换成字母“B”，遇到单词And、Or转换成符号“&”，经过这些转换，把URI中含有的单词转换得到一个URI转换后的字符串特征指纹，然后再用特征指纹与提前准备好的威胁特征库里进行查找配对，配对成功与否，认定URI是否为XSS(Cross Site Scripting，跨站脚本攻击)注入攻击或者是否为SQL注入攻击。
如果判定当前的HTTP记录中URI有攻击请求的特征，取得【访问者源IP】，在单位时间内，如果此【访问者源IP】多次存在指定数量的攻击行为，则通知Web(World Wide Web，万维网的简称，它是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统)网关系统，对此【访问者源IP】进行拦截封禁。同时可以用HTTP日志中的【访问目的IP】在CMDB配置管理库中进行关联匹配查询，查找到【访问目的IP】所对应的【部门】【管理员】，然后告知安全人员、服务器管理员，输出例如如下告警信息：
【部门】【管理员】【访问目的IP】被【访问者源IP】进行“Web攻击，在网络网关被拦截封禁X分钟”。
其中，XSS(Cross Site Scripting，跨站脚本攻击)，为了不和层叠样式表(Cascading Style Sheets，CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS。
如此，通过与威胁特征库、配置管理库以及Web网关系统等其他企业系统信息的关联分析，在明确知道威胁原因的同时，可以定位业务的关键依赖人，及时发现问题第一时间联系，避免联系不到关键人造成的事件延误产生的资产损失，保护企业安全，并通过使用语义分析的威胁检测手段，提高对网络流量数据检测的效率，降低人工创建检测规则进行威胁检测的出错率。
本申请实施例提供的网络流量检测方法，不仅可以通过外部流量采集设备低成本的收集流量数据，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过对文本数据进行字段拆分，进一步保证数据的完整性和稳定性，提高对网络流量数据检测的效率，并基于目标日志的格式元素和威胁特征库信息进行检测，可以及时发现威胁，阻断威胁，保护企业的网络安全，减少服务器的维护工作量。
下面结合实际的应用场景，对本申请实施例提供的网络流量检测方法进行进一步地详细介绍。如图4所示，本申请实施例提供的网络流量检测方法可以包括如下步骤：
步骤410，镜像汇聚网络流量；
可以理解的是，通过流量采集设备中的网络流量镜像系统，可以将企业的网络流量进行镜像复制，然后汇聚集中后的流量传输给指定的入侵检测服务器，其中，入侵检测服务器可以是配有高带宽网卡的物理服务器，负责对网络流量进行采样和分离。
步骤420，聚合网络流量中的HTTP日志数据；
如图4所示，步骤420还可以包括步骤421、步骤422以及步骤423。
其中，步骤421可以为推送日志数据，可以理解的是，通过在入侵检测服务器上部署入侵检测系统，再将网络流量中的HTTP流量数据进行分离处理，得到企业网络中的HTTP协议日志数据；步骤422可以为格式化处理日志数据，可以理解的是，通过对HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；步骤423可以为存储日志数据至数据库，可以理解的是，将得到的指定HTTP日志保存到ES数据库中。
如此，通过上述这种方式避免在业务服务器上部署日志数据采集软件，或是避免使用Web服务本身的日志收集功能，对生产业务产生影响。
步骤430，对网络流量进行检测分析；
如图4所示，步骤430还可以包括步骤431、步骤432以及步骤433。
其中，步骤431可以为与威胁特征库进行关联匹配分析，步骤432可以为与配置管理库进行关联匹配分析，步骤433可以为与Web网关系统进行关联分析。
可以理解的是，将HTTP日志数据中的IP、域名与威胁特征库中的信息进行关联匹配分析，定位隐藏在普通请求当中的攻击行为，再与CMDB配置管理库中的信息进行关联匹配分析，定位被威胁资产的关键依赖管理人员。对于高风险的IP关联威胁事件，可以通知Web网络网关、防火墙，对攻击IP使用限速、拦截、封禁等防御手段。如此，通过对网络流量检测分析，提高对网络流量检测的效率，弥补传统人工创建检测规则的低效与威胁检测的漏报。
可以理解的是，上述示例仅是一种对网络流量进行检测分析的方式。本申请实施例中对网络流量进行检测分析的方式并不限于上述示例。举例而言，在一示例中，另一种对网络流量进行检测分析的方式可仅包括上述步骤431、432。
步骤440，存储网络流量检测分析结果至数据库；
步骤450，展示网络流量检测分析结果。
本申请实施例提供的网络流量检测方法，通过镜像汇聚网络流量，聚合网络流量中的HTTP日志数据，然后对网络流量进行检测分析，将网络流量检测分析结果存储入库并展示。如此，不仅可以通过网络流量镜像系统低成本的收集流量数据，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过聚合数据流量并对其进行检测分析，进一步保证数据的完整性和稳定性，提高对网络流量数据检测的效率，并可以及时发现威胁，阻断威胁，保护企业的网络安全，减少服务器的维护工作量。
图5为本申请实施例提供的一种网络流量检测装置的结构框图。参照图5，本申请实施例提供的一种网络流量检测装置500，可以包括：获取模块510，分离模块520，处理模块530以及检测模块540。
其中，所述获取模块510，用于获取来自于流量采集设备的流量集合；
所述分离模块520，用于从所述流量集合中分离出HTTP数据流量；
所述处理模块530，用于对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
所述检测模块540，用于对所述目标格式流量数据进行检测，得到流量检测结果。
本申请实施例提供的一种网络流量检测装置，获取来自于流量采集设备的流量集合；从所述流量集合中分离出HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。如此，可以直接利用外部流量采集设备收集流量集合，而无需在服务器上部署服务软件，节省了服务器的硬件处理资源，进而提高了网络数据处理的稳定性。而且通过对数据流量进行格式化处理，进一步保证了数据处理的稳定性，提高了对网络流量数据检测的效率。
可选地，在一个实施例中，在获取来自于流量采集设备的流量集合的过程中，所述获取模块510具体可以用于：对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合。
可选地，在一个实施例中，所述流量采集设备为交换机，在获取来自于流量采集设备的流量集合的过程中，所述获取模块510具体还可以用于：通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。
可选地，在一个实施例中，在从所述流量集合中分离出HTTP数据流量的过程中，所述分离模块520具体可以用于：基于HTTP协议分析，从所述流量集合中分离出HTTP数据流量。
可选地，在一个实施例中，所述HTTP数据流量包括HTTP日志，在对所述HTTP数据流量进行格式化处理，得到目标格式流量数据的过程中，所述处理模块530具体可以用于：通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；所述指定HTTP日志的格式为：【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。
可选地，在一个实施例中，在所述从所述流量集合中分离出HTTP数据流量之后，所述网络流量检测装置500还可以包括：存储模块，用于将所述HTTP日志推送到指定队列进行存储；读取模块，用于从所述指定队列中读取所述HTTP日志。
可选地，在一个实施例中，所述流量检测结果包括目标日志检测结果，在对所述目标格式流量数据进行检测，得到流量检测结果的过程中，所述检测模块540具体还可以用于：基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果；
其中，可选地，所述目标日志的格式元素可以包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。
可选地，在一个实施例中，所述威胁特征库可以包括第一威胁特征库和第二威胁特征库；在基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果的过程中，所述检测模块540具体可以用于：针对任一条目标日志：在第一威胁特征库中查询当前目标日志的访问者源IP和/或访问目的IP；在所述第一威胁特征库中存在当前目标日志的访问者源IP和/或访问目的IP的情况下，在第二威胁特征库中查询当前目标日志的域名；在所述第二威胁特征库中存在当前目标日志的域名的情况下，对当前目标日志的URI进行语义分析，得到语义分析结果；在所述语义分析结果指示属于攻击类型的情况下，将当前目标日志的域名、URI、访问者源IP、访问目的IP组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
可选地，在一个实施例中，所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素；在基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果的过程中，所述检测模块540具体用于：
针对任一条目标日志：将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配；在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素；将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
可选地，所述第一格式元素可以包括域名、访问者源IP以及访问目的IP中的任一格式元素；所述威胁特征库中的元素可以包括威胁行为、威胁种类、威胁域名和威胁IP；所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行可以包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP的情况下，将当前目标日志的访问者源IP与所述威胁特征库中的威胁IP进行匹配；在所述第一格式元素包括访问目的IP的情况下，将所述目标日志的访问目的IP与所述威胁特征库中的威胁IP进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素可以包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的所述第一格式元素、所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述第一格式元素可以为URI，在将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配的过程中，所述检测模块540具体可以用于：根据语义分析算法，将当前目标日志的URI转换成字符串特征序列；将所述字符串特征序列与所述威胁特征库中的元素进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中的至少一个元素可以包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的威胁IP；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁IP组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述目标日志中存在与配置管理库中的元素相关联的第二格式元素；所述检测模块540具体还可以用于：在匹配成功的情况下，将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配；在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志。
可选地，所述第二格式元素可以为访问者源IP或访问目的IP，所述配置管理库中的元素可以包括：管理IP、部门、管理员；所述将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配可以包括：将当前目标日志的访问者源IP或访问目的IP与所述配置管理库中的管理IP进行匹配；所述在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素可以包括：在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的所述部门和所述管理员；所述将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志可以包括：将当前所述目标日志的域名、URI、访问者源IP、访问目的IP、所述威胁特征库中与当前目标日志相匹配的威胁行为、威胁种类、所述配置管理库中与当前目标日志相匹配的部门和管理员组成一条存在安全威胁的目标日志。
可选地，在一个实施例中，所述检测模块540具体还可以用于：检测在单位时间内所述访问者源IP是否存在指定数量的攻击行为；若单位时间内所述访问者源IP存在指定数量的攻击行为，对所述访问者源IP进行拦截封禁。
需要说明的是，本申请实施例提供的网络流量检测装置与上文提到的网络流量检测方法相对应。相关内容可参照上文对网络流量检测方法的描述，在此不做赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种网络流量检测方法，其特征在于，所述网络流量检测方法包括：
获取来自于流量采集设备的流量集合；
从所述流量集合中分离出超文本传输协议HTTP数据流量；
对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
对所述目标格式流量数据进行检测，得到流量检测结果。
2.根据权利要求1所述的网络流量检测方法，其特征在于，所述流量采集设备为交换机，所述获取来自于流量采集设备的流量集合包括：
对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合；
或者，通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。
3.根据权利要求1所述的网络流量检测方法，其特征在于，所述HTTP数据流量包括HTTP日志，所述对所述HTTP数据流量进行格式化处理，得到目标格式流量数据包括：
通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；
所述指定HTTP日志的格式为：【域名】【访问者源IP】【访问目的IP】【统一资源标识符URI】【时间戳】；
所述流量检测结果包括目标日志检测结果，相应地，所述对所述目标格式流量数据进行检测，得到流量检测结果包括：
基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；
基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果；
其中，所述目标日志的格式元素包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。
4.根据权利要求3所述的网络流量检测方法，其特征在于，所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素；
所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：
针对任一条目标日志：
将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配；
在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素，将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志；
将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
5.根据权利要求4所述的网络流量检测方法，其特征在于，所述第一格式元素包括域名、访问者源IP以及访问目的IP中的任一格式元素；所述威胁特征库中的元素包括威胁行为、威胁种类、威胁域名和威胁IP；
所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP或访问目的IP的情况下，将当前目标日志的访问者源IP或访问目的IP与所述威胁特征库中的威胁IP进行匹配；
所述在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类；
所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。
6.根据权利要求4所述的网络流量检测方法，其特征在于，所述第一格式元素为URI，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：
根据语义分析算法，将当前目标日志的所述URI转换成字符串特征序列；
将所述字符串特征序列与所述威胁特征库中的元素进行匹配；
所述在匹配成功的情况下，获取所述威胁特征库中的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的威胁IP；
所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁IP组成一条存在安全威胁的目标日志。
7.根据权利要求4-6任一项所述的网络流量检测方法，其特征在于，所述目标日志中存在与配置管理库中的元素相关联的第二格式元素；
所述网络流量检测方法还包括：
在匹配成功的情况下，将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配；
在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素；
所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志。
8.根据权利要求7所述的网络流量检测方法，其特征在于，所述第二格式元素为访问者源IP或访问目的IP，所述配置管理库中的元素包括：管理IP、部门、管理员；
所述将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配包括：将当前目标日志的访问者源IP或访问目的IP与所述配置管理库中的管理IP进行匹配；
所述在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的所述部门和所述管理员；
所述将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库中与当前目标日志相匹配的至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的域名、URI、访问者源IP、访问目的IP、所述威胁特征库中与当前目标日志相匹配的威胁行为、威胁种类、所述配置管理库中与当前目标日志相匹配的部门和管理员组成一条存在安全威胁的目标日志。
9.根据权利要求3所述的网络流量检测方法，其特征在于，所述威胁特征库包括第一威胁特征库和第二威胁特征库；
所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：
针对任一条目标日志：
在第一威胁特征库中查询当前目标日志的访问者源IP和/或访问目的IP；
在所述第一威胁特征库中存在当前目标日志的访问者源IP和/或访问目的IP的情况下，在第二威胁特征库中查询当前目标日志的域名；
在所述第二威胁特征库中存在当前目标日志的域名的情况下，对当前目标日志的URI进行语义分析，得到语义分析结果；
在所述语义分析结果指示属于攻击类型的情况下，将当前目标日志的域名、URI、访问者源IP、访问目的IP组成一条存在安全威胁的目标日志；
将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
10.一种网络流量检测装置，其特征在于，所述装置包括：
获取模块，用于获取来自于流量采集设备的流量集合；
分离模块，用于从所述流量集合中分离出HTTP数据流量；
处理模块，用于对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
检测模块，用于对所述目标格式流量数据进行检测，得到流量检测结果。
CN202011551314.2A 2020-12-24 2020-12-24 网络流量检测方法和装置 Active CN112714118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551314.2A CN112714118B (zh) 2020-12-24 2020-12-24 网络流量检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551314.2A CN112714118B (zh) 2020-12-24 2020-12-24 网络流量检测方法和装置

Publications (2)

Publication Number Publication Date
CN112714118A true CN112714118A (zh) 2021-04-27
CN112714118B CN112714118B (zh) 2023-06-06

Family

ID=75544307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551314.2A Active CN112714118B (zh) 2020-12-24 2020-12-24 网络流量检测方法和装置

Country Status (1)

Country Link
CN (1) CN112714118B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115333930A (zh) * 2022-10-13 2022-11-11 北京微步在线科技有限公司 基于场景的日志归类方法、装置、电子设备及存储介质
CN116170352A (zh) * 2023-02-01 2023-05-26 北京首都在线科技股份有限公司 网络流量的处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150215334A1 (en) * 2012-09-28 2015-07-30 Level 3 Communications, Llc Systems and methods for generating network threat intelligence
US20160156655A1 (en) * 2010-07-21 2016-06-02 Seculert Ltd. System and methods for malware detection using log analytics for channels and super channels
CN106656922A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种基于流量分析的网络攻击防护方法和装置
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
CN111866016A (zh) * 2020-07-29 2020-10-30 中国平安财产保险股份有限公司 日志的分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160156655A1 (en) * 2010-07-21 2016-06-02 Seculert Ltd. System and methods for malware detection using log analytics for channels and super channels
US20150215334A1 (en) * 2012-09-28 2015-07-30 Level 3 Communications, Llc Systems and methods for generating network threat intelligence
CN106656922A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种基于流量分析的网络攻击防护方法和装置
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
CN111866016A (zh) * 2020-07-29 2020-10-30 中国平安财产保险股份有限公司 日志的分析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115333930A (zh) * 2022-10-13 2022-11-11 北京微步在线科技有限公司 基于场景的日志归类方法、装置、电子设备及存储介质
CN116170352A (zh) * 2023-02-01 2023-05-26 北京首都在线科技股份有限公司 网络流量的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112714118B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US10867034B2 (en) Method for detecting a cyber attack
US11196756B2 (en) Identifying notable events based on execution of correlation searches
Perdisci et al. Alarm clustering for intrusion detection systems in computer networks
US11240256B2 (en) Grouping alerts into bundles of alerts
CN111935082B (zh) 一种网络威胁信息关联分析系统及方法
CN113486351A (zh) 一种民航空管网络安全检测预警平台
CN110210213B (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
CN109379390B (zh) 一种基于全流量的网络安全基线生成方法
CN111104579A (zh) 一种公网资产的识别方法、装置及存储介质
CN111241104A (zh) 操作审计方法、装置及电子设备和计算机可读存储介质
CN112714118B (zh) 网络流量检测方法和装置
CN113507461B (zh) 基于大数据的网络监控系统及网络监控方法
CN111274276A (zh) 操作审计方法、装置及电子设备和计算机可读存储介质
CN115296888B (zh) 数据雷达监测系统
CN113849820A (zh) 一种漏洞检测方法及装置
CN112506954A (zh) 数据库审计方法和装置
CN113886829B (zh) 一种失陷主机检测方法、装置、电子设备及存储介质
Erlansari et al. Early Intrusion Detection System (IDS) using Snort and Telegram approach
Giacinto et al. Alarm clustering for intrusion detection systems in computer networks
US20240020391A1 (en) Log-based vulnerabilities detection at runtime
CN114969450B (zh) 一种用户行为分析方法、装置、设备及存储介质
CN110912753A (zh) 一种基于机器学习的云安全事件实时检测系统及方法
CN115913634A (zh) 一种基于深度学习的网络安全异常的检测方法及系统
Kergl et al. Detection of zero day exploits using real-time social media streams
CN115840939A (zh) 安全漏洞处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230316

Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Applicant after: Sina Technology (China) Co.,Ltd.

Address before: 100080 7th floor, Sina headquarters scientific research building, plot n-1 and n-2, Zhongguancun Software Park Phase II (West Expansion), Dongbeiwang West Road, Haidian District, Beijing

Applicant before: Sina.com Technology (China) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant