CN109361573A - 流量日志分析方法、系统及计算机可读存储介质 - Google Patents

流量日志分析方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109361573A
CN109361573A CN201811525995.8A CN201811525995A CN109361573A CN 109361573 A CN109361573 A CN 109361573A CN 201811525995 A CN201811525995 A CN 201811525995A CN 109361573 A CN109361573 A CN 109361573A
Authority
CN
China
Prior art keywords
log
data
log analysis
flows
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811525995.8A
Other languages
English (en)
Other versions
CN109361573B (zh
Inventor
刘斌
关振宁
李元聪
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Sifeng Science And Technology Development Co Ltd
Original Assignee
Wuhan Sifeng Science And Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Sifeng Science And Technology Development Co Ltd filed Critical Wuhan Sifeng Science And Technology Development Co Ltd
Priority to CN201811525995.8A priority Critical patent/CN109361573B/zh
Publication of CN109361573A publication Critical patent/CN109361573A/zh
Application granted granted Critical
Publication of CN109361573B publication Critical patent/CN109361573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/062—Generation of reports related to network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书实施例提供了一种流量日志分析方法、系统及计算机可读存储介质，所述方法包括：采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。上述方案中，通过获取流量数据的传输层信息以及应用层信息，生成目标流量日志，即，将流量数据日志化，通过对日志进行分析实现对流量数据的监控和分析，从而增强了对流量数据的分析能力。

Description

流量日志分析方法、系统及计算机可读存储介质
技术领域
本说明书涉及计算机技术领域，尤其涉及一种流量日志分析方法、系统及计算机可读存储介质。
背景技术
随着科学技术的不断发展，网上用户和业务流量也在不断增长，需要大规模的网络系统来支撑。以运营商网络系统为例，大规模的网络系统会产生大规模的流量数据，一方面，运营商可以根据大规模的流量数据深度分析用户数据，挖掘更多价值应用，将流量数据优势转化为市场优势；另一方面，可以将大规模流量数据优势转化封装成大数据产品和能力，开放给第三方使用，扩大流量数据的应用范围，提升流量数据的使用价值。
虽然大规模流量数据拥有众多优点，但在现有技术中，对流量数据的分析能力不足，无法满足个性化的流量分析需求。
发明内容
鉴于上述问题，提出了本说明书以便提供一种克服上述问题或者至少部分地解决上述问题的流量日志分析方法、系统及计算机可读存储介质。
第一方面，本说明书提供一种流量日志分析方法，所述方法包括：
采集目标网络的流量数据集；
获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；
根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
可选地，所述采集目标网络的流量数据集，包括：
根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。
可选地，所述获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，包括：
通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。
可选地，所述根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，包括：
根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；
根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：
根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；
根据所述预设日志分析规则对所述目标流量日志进行日志分析。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：
在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：
将所述日志分析结果进行可视化处理。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：
通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。
第二方面，本说明书提供一种流量日志分析系统，包括：
流量采集装置，用于采集目标网络的流量数据集；
流量分析装置，用于获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；以及根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
日志分析装置，用于根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
可选地，所述流量采集装置用于：
根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。
可选地，所述流量分析装置用于：
通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。
可选地，所述流量分析装置用于：
根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；
根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。
可选地，所述日志分析装置用于：
根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；
根据所述预设日志分析规则对所述目标流量日志进行日志分析。
可选地，所述系统还包括：
提醒模块，用于在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。
可选地，所述系统还包括：
可视化装置，将所述日志分析结果进行可视化处理。
可选地，所述日志分析装置用于：
通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。
第三方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本说明书上述一个或多个技术方案，具有以下技术效果：
在本说明书实施例提供的流量日志分析方法中，采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。上述方案中，通过获取流量数据的传输层信息以及应用层信息，生成目标流量日志，即将流量数据日志化，通过对日志进行分析实现对流量数据的监控和分析，从而增强了对流量数据的分析能力。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本说明书第一方面提供的流量日志分析方法的流程图；
图2为本说明书提供的一种日志分析装置的示意图；
图3为本说明书第二方面提供的流量日志分析装置的示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面，本说明书实施例提供的一种流量日志分析方法，该方法可以应用于流量日志分析系统中，该系统可以包括流量采集装置、流量分析装置以及日志分析装置。其中，流量采集装置可以用于采集网络流量数据，流量分析装置可以与流量采集装置相连，用于对采集到的流量数据进行处理，包括获取流量数据中的信息，生成流量日志等。日志分析装置可以与流量分析装置相连，用于接收流量日志，并对流量日志进行分析处理。另外，流量日志分析系统还可以包括可视化装置，用于将流量日志的分析结果进行可视化展示。
如图1所示，为本说明书实施例提供的一种流量日志分析方法的流程图，该方法包括以下步骤。
步骤S11：采集目标网络的流量数据集；
步骤S12：获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；
步骤S13：根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
步骤S14：根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
本说明书实施例中，目标网络可以是需要进行流量分析的用户或机构的网络，例如，目标网络可以是A运营商的网络。网络流量可以是流量采集装置通过部署分光或端口镜像的方式来获取，流量数据集可以是目标网络中的全部或部分流量数据，这里不做限定。
在流量采集装置采集到流量数据集之后，可以将流量数据集发送给流量分析装置。本说明书实施例中，在流量数据集的数据量较大时，一台流量分析装置可能无法处理较大数量的流量数据集，因此可以设置多台流量分析装置，将流量数据集分发给各个流量分析装置，以使各个流量分析装置对接收到的流量数据进行处理。在一个实施例中，可以通过分流器来实现流量分发，分流器的进口用于接收网络流量数据，分流器的出口与多台流量分析装置相连，用于将流量数据分发至多台流量分析装置中进行处理。
本说明书实施例中，为了实现对流量信息的无遗漏采集，针对流量数据集中的每条流量数据，采集OSI(Open System Interconnection，开放系统互联)模型中第四层传输层以及第七层应用层的全部信息。当然，除了获取四层七层信息，还可以获取其他信息，例如网络层信息，这里不做限定。将获取到的每条流量数据的传输层信息构成传输层信息集合，将获取到的每条流量数据的应用层信息构成应用层信息集合。应理解的是，对第四层以及第七层信息的采集方式可以根据实际需要来进行设定，如通过协议特征提取、深度包检测(Deep Packet Inspection，DPI)、深度流检测等方式，这里不做限定。
进一步的，流量分析装置可以根据传输信息集合以及应用层信息集合生成包含有流量数据集的全局特征的目标流量日志。其中，流量数据集的全局特征可以包括数据传输速率、分组转发率、总时延、总传输数据、首包响应时间、邻包间隔时间等特征。
日志分析装置可以根据用户或机构的需求，对目标流量日志进行分析处理。应理解的是，根据需求的不同，日志分析的方式可能不同。本说明书实施例中，预设日志分析规则可以与用户需求进行关联，对于每种需求，设置一种或多种日志分析规则。根据预设日志分析规则对目标流量日志进行分析，获得日志分析结果。
进一步的，在获得日志分析结果后，可以将日志分析结果进行可视化。在一个实施例中，可以根据日志分析结果的类型，确定对应的可视化效果，例如，在日志分析结果为不同地区的网络质量时，可以通过地域信息图来对日志分析结果进行展示。可视化效果可以包括直方图、热点图等形式，这里不做限定。
可选地，所述采集目标网络的流量数据集，包括：根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。本说明书实施例中，预设流量过滤规则可以根据实际需要进行设定。例如，预设流量过滤规则可以为预设的源IP地址、预设的目的IP地址、预设的源输入端口等，或者预设流量过滤规则可以为多个预设条件的组合。
本说明书实施例中，为了便于用户操作，在进行流量数据过滤时，可以通过流量配置界面来进行设置。流量配置界面可以展示在流量采集装置上，也可以展示在用于控制流量采集装置的电子设备上。流量配置界面可以包括用于进行流量过滤的多种筛选条件，通过流量配置界面可以配置流量数据筛选条件或全量记录。另外，用户可以通过对筛选条件进行选择或输入来实现流量过滤。
在本说明书实施例中，为了应对目标网络的大规模流量数据，在通过流量配置界面对流量数据进行过滤筛选时，可以结合FPGA(Field-Programmable Gate Array，现场可编程门阵列)模块实现以线性速率处理流量数据的目的，满足大规模流量处理需求。
可选地，所述获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，包括：通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。
本说明书实施例中，可以采用DFI流量分析设备对流量数据集进行分析处理。深度流检测(Deep/Dynamic Flow Inspection，DFI)技术，是基于流量行为的检测技术。由于不同的流量数据在会话连接、数据流状态等特征上可能各有相同，DFI可以基于流量的行为特征，建立流量特征模型，并根据流量特征模型来提取四层以及七层信息。在一个实施例中，可以对采集到的流量数据进行串行处理，提取相应的四层信息，然后根据流量特征模型，对每个串流进行行为模型识别，特征识别等处理，以提取七层信息。
进一步的，在获取到流量数据的四七层信息后，将四七层信息进行日志化处理，在一个实施例中，可以依据字段对用户流量进行逐一、完整的记录，生成目标流量日志。
在另一个实施例中，所述根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，包括：根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。
本说明书实施例中，预设分类信息可以根据实际需要进行设定，例如，预设分类信息可以为根据域名进行分类、根据IP地址进行分类等。以预设分类信息为根据域名进行分类为例，将采集到的流量数据集中的每条流量数据按照域名进行分类，即，将属于同一域名的流量数据划分为一类，根据每一类别中的流量数据对应的传输层信息以及应用层信息，生成目标流量日志。在一个实施例中，可以根据MD5值、传输层信息以及应用层信息进行日志化处理，日志可以使用syslog协议封装发送，传输层协议可以使用UDP(User DatagramProtocol，用户数据报协议)，遵循规范可以参考RFC 5234。目标流量日志可以包括优先级(priority)、syslog协议版本(VERSION)、ISO 8601格式时间戳(ISOTIMESTAMP)、发送日志的主机名(HOSTNAME)、产生日志的设备名或应用名称(APPLICATION)、发送日志的进程名或者进程ID(PID)、日志消息的ID(MESSAGEID)、关于日志消息的其他描述(STRUCTED-DATA)、日志信息(MSG)。当然，目标流量日志还可以包括其他信息，这里不做限定。
在一个实施例中，对于priority的设置，priority可以由facility和severity计算得出，计算公式为priority＝facility×8+severity，facility和severity的值根据需要进行设定。对于不同类型的日志需求，例如TCP日志、HTTP日志和HTTPS日志，建议在进行syslog协议封装时，通过设定不同的facility值对着三种类型的日志进行区分，具体分配可以为：TCP日志，设置facility为local1；HTTP日志，设置facility为local2；HTTPS日志，设置facility为local3；severity值建议统一设置为6(Informational)。经计算可知，TCP日志、HTTP日志和HTTPS日志的priority值分别为142、150、158。VERSION统一设置为1。ISOTIMESTAMP的设置可以参考ISO 8601对时间字符串进行格式化。HOSTNAME设置有发送主机的IPv4地址。APPLICATION可以设置为发送日志的应用名，可以用“-”省略。PID可以设置为发送日志的进程ID，可以用“-”省略。MESSAGEID可以用“-”省略。STRUCTED-DATA可以用“-”省略。MSG字段之间采用分隔符“|”隔开。
以TCP日志为例，日志格式可以为：
<142>1 2017-07-25T15:00:06+08:00 221.131.115.71----1500965978184|1500965978327|10.31.23.175|56473|120.221.136.46|443|1836|4600|17
另外，为了满足用户的多样化需求，在无法根据传输层信息以及应用层信息直接获得用户需求时，可以通过对传输层信息以及应用层信息进行二次处理和运算来达到用户需求，并将处理后的结果写入目标流量日志中。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；根据所述预设日志分析规则对所述目标流量日志进行日志分析。
本说明书实施例中，日志分析指令可以是默认的日志分析指令，也可以是用户通过日志分析装置的控制界面进行日志分析设置时生成的指令，还可以是与用户需求或用户反馈对应的日志分析指令。日志分析指令可以根据实际需要进行配置，例如，日志分析指令可以为域名质量分析指令、IP质量分析指令、网络缓存质量指令等。对于不同的日志分析指令，可以对应有各自的预设日志分析规则。以域名质量分析指令为例，与域名质量分析指令对应的预设日志分析规则可以为，统计每个域名下的流量情况、请求情况、四层七层的数据时延情况。当然，日志分析规则可以根据实际需要进行配置，这里不做限定。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。
本说明书实施例中，可以根据日志分析结果实现对流量数据的监控，流量数据的监控可以通过设置阈值等方式来实现。仍以域名质量分析为例，当检测到某域名的流量数据总量出现突然降低，低于阈值时，有可能是出现网络链路异常或者系统出现异常导致无法响应用户请求，此时，生成提醒信息，以提醒该域名的管理员进行问题排查。另外，本说明书实施例中，当检测到流量数据集存在异常时，可以获取导致流量数据集异常的原因，并将原因推送给用户，以使用户采取措施。
可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。
本说明书实施例中，日志分析装置可以由数据收集引擎、分布式搜索和分析引擎、数据分析和可视化模块构成。如图2所示，为本说明书实施例提供的一种日志分析装置的示意图，在该实施例中，数据收集引擎可以使用Logstash软件实现，分布式搜索和分析引擎可以使用Elasticsearch软件实现，数据分析和可视化模块可以使用Kibana软件实现，上述三者可以被简称为ELK模块。
其中，Elasticsearch具有较佳的可伸缩性、可靠性和易管理等特点。基于ApacheLucene构建，能对大容量的数据进行接近实时的存储、搜索和分析操作，通常被用作某些应用的基础搜索引擎，具有复杂的搜索功能。
Logstash能够支持动态的从各个数据源搜集数据，并对数据进行过滤、分析、丰富、同一格式等操作，并可以将数据存储到用户指定的位置。
Kibana能够与Elasticsearch配合使用，为Elasticsearch提供分析和可视化的web平台。它可以在Elasticsearch的索引中查找、交互数据，并生成各种维度的表图。还可以对流量进行会话级别回溯查询，并进行呈现。并在服务质量劣化或流量超出阈值的情况下进行告警。
本说明书实施例中，在获得了目标流量日志后，将目标流量日志发送给Logstash，Logstash会对目标流量日志进行筛选整理，并按照标准格式输出，Logstash可以采用分布式部署，高效的从不同节点汇聚目标流量日志。Logstash将处理后的目标流量日志发送给Elasticsearch，Elasticsearch可以实现对目标流量日志的检索以及分析，例如全文检索、结构化检索等，能够实现对目标流量日志进行近实时的处理，得到日志分析结果。另外，进一步的，Elasticsearch还可以自动将海量流量数据分散到多台服务器上去存储和检索。将流量数据分布式处理后，就可以采用大量的服务器去存储和检索数据，从而实现海量流量数据处理。Elasticsearch将日志分析结果发送给Kibana，Kibana可以将日志分析结果以图表的方式进行展示。
在本说明书实施例中，可以将硬件级别的DPI/DFI流量分析设备和ELK融合在一起，并采用分布式、集群式的部署方式，既高效利用了硬件设备性能强劲、处理能力强的优势，又充分发挥了ELK的高度灵活、快速响应、可高度定制化的优点，可以在大流量场景下快速实现多种不同应用的流量关键指标可视化呈现，并实现无断点地跟踪特定用户的特定应用的网络体验。
应理解的是，一个完整的流量日志化过程可以包括以下过程。收集过程，用于大规模采集流量数据；转化过程，用于高效的对流量数据进行日志化处理；传输过程，用于稳定的将转化得到的日志数据传输到后端系统，如ELK系统；存储过程，用于存储日志数据；分析过程，用于分析日志数据并进行用户界面展示；预警过程，用于提供错误报告，提供监控机制。
为了更好的理解本说明书提供的流量日志分析方法，下面提供一种实施方案的处理流程。该流程包括以下步骤：采集用户流量；通过流量配置界面对流量数据进行调节配置，确保流量数据收集的高效和稳定，并设置流量数据的筛选条件；对接收到的流量数据进行日志化处理，和/或对流量数据进行二次处理运算；通过ELK系统对得到的日志进行加工分析和解读，并将分析结果进行图形化展现。
请参照图3，本说明书第二实施例还提供了一种流量日志分析系统，包括：
流量采集装置31，用于采集目标网络的流量数据集；
流量分析装置32，用于获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；以及根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
日志分析装置33，用于根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
作为一种可选的实施例，流量采集装置31用于：
根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。
作为一种可选的实施例，流量分析装置32用于：
通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。
作为一种可选的实施例，流量分析装置32用于：
根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；
根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。
作为一种可选的实施例，日志分析装置33用于：
根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；
根据所述预设日志分析规则对所述目标流量日志进行日志分析。
作为一种可选的实施例，所述系统还包括：
提醒模块，用于在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。
作为一种可选的实施例，所述系统还包括：
可视化装置，将所述日志分析结果进行可视化处理。
作为一种可选的实施例，日志分析装置33用于：
通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。
关于上述系统，其中各个模块和装置的具体功能已经在本发明实施例提供的流量日志分析方法的实施例中进行了详细描述，此处将不做详细阐述说明。
进一步的，本说明书实施例中的方案能够通过DFI实时将网络流量数据进行日志化，并精细的记录流量数据的每一个细节。通过流量日志化结合ELK系统，达到对大规模流量数据近乎实时的分析四层、七层数据的目的。另外，本说明书实施例中，还可以通过分布式实时文件存储，将每一个字段都编入索引，进行会话级别的回溯，URL级别的分析。同时，本说明书实施例中的方案具有文档导向，所有的对象全部都是文档，具备高可用性，易扩展，支持集群、分片和复制。并且本说明书实施例中的流量日志分析系统接口友好，支持JSON，且配置简单，可以进行规模化部署。同时，具备近乎实时的告警，优先发现异常流量或阈值信息，减轻运维负担，能够高效进行网络流量数据分信息，有效应对大规模数据分析需求。
第三方面，基于与前述实施例中流量日志分析方法的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述流量日志分析方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种流量日志分析方法，其特征在于，所述方法包括：
采集目标网络的流量数据集；
获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；
根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
2.根据权利要求1所述的流量日志分析方法，其特征在于，所述采集目标网络的流量数据集，包括：
根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。
3.根据权利要求1所述的流量日志分析方法，其特征在于，所述获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，包括：
通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。
4.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，包括：
根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；
根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。
5.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：
根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；
根据所述预设日志分析规则对所述目标流量日志进行日志分析。
6.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：
在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。
7.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：
通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。
8.一种流量日志分析系统，其特征在于，所述流量日志分析系统包括：
流量采集装置，用于采集目标网络的流量数据集；
流量分析装置，用于获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；以及根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；
日志分析装置，用于根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。
9.如权利要求8所述的流量日志分析系统，其特征在于，所述流量日志分析系统还包括：
可视化装置，用于将所述日志分析结果进行可视化处理。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN201811525995.8A 2018-12-13 2018-12-13 流量日志分析方法、系统及计算机可读存储介质 Active CN109361573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811525995.8A CN109361573B (zh) 2018-12-13 2018-12-13 流量日志分析方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811525995.8A CN109361573B (zh) 2018-12-13 2018-12-13 流量日志分析方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109361573A true CN109361573A (zh) 2019-02-19
CN109361573B CN109361573B (zh) 2022-02-18

Family

ID=65328661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811525995.8A Active CN109361573B (zh) 2018-12-13 2018-12-13 流量日志分析方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109361573B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213123A (zh) * 2019-05-05 2019-09-06 阿里巴巴集团控股有限公司 一种流量监控方法、装置及设备
CN111092852A (zh) * 2019-10-16 2020-05-01 平安科技（深圳）有限公司 基于大数据的网络安全监控方法、装置、设备及存储介质
CN112256428A (zh) * 2020-10-21 2021-01-22 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN112333039A (zh) * 2020-10-12 2021-02-05 联通智网科技有限公司 流量报表文件的生成方法、装置、存储介质和计算机设备
CN112350864A (zh) * 2020-10-30 2021-02-09 杭州安恒信息技术股份有限公司 域控终端的保护方法、装置、设备和计算机可读存储介质
CN112667572A (zh) * 2020-12-23 2021-04-16 国网宁夏电力有限公司信息通信公司 日志校准方法及装置
CN113868083A (zh) * 2021-09-24 2021-12-31 猪八戒股份有限公司 基于实时分析应用请求日志实现流量智能切换的方法
CN114567498A (zh) * 2022-03-04 2022-05-31 科来网络技术股份有限公司 用于网络行为可视化的元数据提取和处理方法及系统
CN116389322A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 流量数据处理方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267349A (zh) * 2008-04-29 2008-09-17 杭州华三通信技术有限公司 网络流量分析方法和设备
CN102387045A (zh) * 2011-09-30 2012-03-21 北京信息科技大学 嵌入式p2p流量监控系统及方法
CN104753732A (zh) * 2013-12-27 2015-07-01 郭祖龙 一种基于分布式的网络流量分析系统及方法
CN106656838A (zh) * 2016-10-19 2017-05-10 赛尔网络有限公司 一种流量分析方法及系统
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
JP2018147198A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 分析プロジェクト用作業手順解析支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267349A (zh) * 2008-04-29 2008-09-17 杭州华三通信技术有限公司 网络流量分析方法和设备
CN102387045A (zh) * 2011-09-30 2012-03-21 北京信息科技大学 嵌入式p2p流量监控系统及方法
CN104753732A (zh) * 2013-12-27 2015-07-01 郭祖龙 一种基于分布式的网络流量分析系统及方法
CN106656838A (zh) * 2016-10-19 2017-05-10 赛尔网络有限公司 一种流量分析方法及系统
JP2018147198A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 分析プロジェクト用作業手順解析支援システム
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任春梅: "网络流量分析关键技术研究", 《中国优秀硕士学位论文全文数据库》 *
孙继银，张宇翔，申巍葳: "网络窃密、监听及防泄密技术", 《网络窃密、监听及防泄密技术》 *
蒋迪: "KVM私有云架构设计与实践", 《KVM私有云架构设计与实践》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213123A (zh) * 2019-05-05 2019-09-06 阿里巴巴集团控股有限公司 一种流量监控方法、装置及设备
CN111092852A (zh) * 2019-10-16 2020-05-01 平安科技（深圳）有限公司 基于大数据的网络安全监控方法、装置、设备及存储介质
CN112333039B (zh) * 2020-10-12 2024-05-17 联通智网科技股份有限公司 流量报表文件的生成方法、装置、存储介质和计算机设备
CN112333039A (zh) * 2020-10-12 2021-02-05 联通智网科技有限公司 流量报表文件的生成方法、装置、存储介质和计算机设备
CN112256428A (zh) * 2020-10-21 2021-01-22 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN112256428B (zh) * 2020-10-21 2024-05-28 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN112350864A (zh) * 2020-10-30 2021-02-09 杭州安恒信息技术股份有限公司 域控终端的保护方法、装置、设备和计算机可读存储介质
CN112667572A (zh) * 2020-12-23 2021-04-16 国网宁夏电力有限公司信息通信公司 日志校准方法及装置
CN113868083A (zh) * 2021-09-24 2021-12-31 猪八戒股份有限公司 基于实时分析应用请求日志实现流量智能切换的方法
CN114567498B (zh) * 2022-03-04 2024-02-02 科来网络技术股份有限公司 用于网络行为可视化的元数据提取和处理方法及系统
CN114567498A (zh) * 2022-03-04 2022-05-31 科来网络技术股份有限公司 用于网络行为可视化的元数据提取和处理方法及系统
CN116389322B (zh) * 2023-06-02 2023-08-15 腾讯科技（深圳）有限公司 流量数据处理方法、装置、计算机设备和存储介质
CN116389322A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 流量数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109361573B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN109361573A (zh) 流量日志分析方法、系统及计算机可读存储介质
US10805438B2 (en) Configuring the protocol-based generation of event streams by remote capture agents
US9565076B2 (en) Distributed network traffic data collection and storage
US9596253B2 (en) Capture triggers for capturing network data
US10511498B1 (en) Monitoring and analysis of interactions between network endpoints
SG10201900335PA (en) Server and method to determine malicious files in network traffic
CN106878074B (zh) 流量过滤方法及装置
KR20120057066A (ko) 네트워크 보안관제 시스템 및 방법, 네트워크 보안관제를 위한 보안 이벤트 처리 장치 및 시각화 처리 장치
US20160127180A1 (en) Streamlining configuration of protocol-based network data capture by remote capture agents
Le et al. Flexible network-based intrusion detection and prevention system on software-defined networks
CN104836694B (zh) 网络监控方法及装置
US10250465B2 (en) Network traffic monitoring and classification
Debashi et al. Sonification of network traffic flow for monitoring and situational awareness
CN114338600B (zh) 一种设备指纹的推选方法、装置、电子设备和介质
CN109639456A (zh) 一种自动化告警的改进方法及告警数据的自动化处理平台
CN112448919B (zh) 网络异常检测方法、装置和系统、计算机可读存储介质
Cukier et al. A statistical analysis of attack data to separate attacks
EP3718284B1 (en) Extending encrypted traffic analytics with traffic flow data
CN109474529B (zh) 一种终端网络关联数据反馈的方法
CN106789411B (zh) 一种机房内活跃ip数据的采集方法和装置
Tafazzoli et al. A proposed architecture for network forensic system in large-scale networks
CN117041070B (zh) 一种网络空间测绘节点发现与归属判别方法和装置
US11516226B2 (en) Contextual analyses of network traffic
KR20120038882A (ko) 네트워크 모니터링 시스템 및 방법, 네트워크 모니터링을 위한 보안이벤트 수집 장치 및 서비스 이상상황 탐지 장치
CN116170829B (zh) 一种独立专网业务的运维场景识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant