CN110278213B - 一种网络安全日志关键信息提取方法及系统 - Google Patents

一种网络安全日志关键信息提取方法及系统 Download PDF

Info

Publication number
CN110278213B
CN110278213B CN201910578626.3A CN201910578626A CN110278213B CN 110278213 B CN110278213 B CN 110278213B CN 201910578626 A CN201910578626 A CN 201910578626A CN 110278213 B CN110278213 B CN 110278213B
Authority
CN
China
Prior art keywords
intranet
list
address
addresses
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910578626.3A
Other languages
English (en)
Other versions
CN110278213A (zh
Inventor
彭如香
李祺
杨涛
凡友荣
姜国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN201910578626.3A priority Critical patent/CN110278213B/zh
Publication of CN110278213A publication Critical patent/CN110278213A/zh
Application granted granted Critical
Publication of CN110278213B publication Critical patent/CN110278213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146Tracing the source of attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络安全日志关键信息提取方法及系统,涉及网络监控领域。包括:步骤S1:于网络安全日志中获取防火墙告警日志和内部网关登录日志;步骤S2:对防火墙告警日志进行处理得到内网结果IP列表;内网结果IP列表中包括若干内网IP地址;步骤S3:根据内网结果IP列表于内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;内网用户使用记录列表包括各内网IP地址,以及与内网IP地址对应的分配日志和用户登录信息;步骤S4:将内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用。结合防火墙告警日志和内部网关登陆信息,匹配出内网IP地址,减少了分析工作量,目标明确且指向性强。

Description

一种网络安全日志关键信息提取方法及系统
技术领域
本发明涉及网络监控技术领域,尤其涉及一种网络安全日志关键信息提取方法及系统。
背景技术
网络安全是一个关系着国家安全和主权、关系着社会稳定、关系着国民经济发展的重要问题。它的重要性,随着全球信息化步伐的加快变的越来越重要,同时也随着信息技术的深入和互联网高速发展,网络入侵事件日益增多,给人们带来了巨大的经济损失,有些甚至威胁到国家安全。网络入侵事件的检测和防御是网络安全保障中的关键问题。在传统的方法中,研究者们从网络安全日志、数据流量、恶意代码、系统漏洞等渠道来分析网络入侵行为。但是,传统的分析方法无法应对当前网络环境的安全防护需求。
当前,已经存在了大量的关联分析方法,如同IP关联、同域名关联等,但是这些关联分析方法大多数从宏观入手,例如WHOIS信息库等,比如探讨一个域名曾用过几个IP地址,一个IP地址层被多个域名使用过等,却没有对同一个监控对象(一个单位)进行分析和整合。
发明内容
本发明为了解决上述问题,现提出一种网络安全日志关键信息提取方法,包括以下步骤:
步骤S1:于网络安全日志中获取防火墙告警日志和内部网关登录日志;
步骤S2:对所述防火墙告警日志进行处理得到内网结果IP列表;
所述内网结果IP列表中包括若干内网IP地址;
步骤S3:根据所述内网结果IP列表于所述内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
所述内网用户使用记录列表包括各所述内网IP地址,以及与所述内网IP地址对应的分配日志和用户登录信息;
步骤S4:将所述内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用。
优选的,所述步骤S2具体包括:
步骤S21:按照预设规则对所述防火墙告警日志进行过滤得到有效告警日志列表;
所述有效告警日志列表中包括若干条有效告警日志;
步骤S22:根据各所述有效告警日志中源地址和目的地址的指向,将各所述有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
步骤S23:对所述出口告警日志组进行关键信息提取得到外网访问IP列表;
所述外网访问IP列表中包括若干外网目的IP地址;
步骤S24:根据所述外网访问IP列表于所述入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
所述第一内网访问记录列表中包括若干被各所述外网目的IP地址访问的第一内网目的IP地址;
步骤S25:根据所述第一内网访问记录表于所述内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
所述第二内网访问记录列表中包括若干被所述第一内网目的IP地址访问的第二内网目的IP地址;
步骤S26:于所述出口告警日志组中提取访问所述外网访问IP列表中的各所述外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
步骤S27:提取同时出现在所述第一内网访问记录列表、所述第二内网访问记录列表以及所述内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
优选的,所述步骤S21中,所述有效告警日志中至少包括设备IP地址、源IP地址以及目的IP地址。
优选的,所述步骤S21中,所述预设规则为采用正则表达式匹配的方式以得到所述有效告警日志列表。
优选的,所述用户使用记录列表中包括各所述内网IP地址对应的用户ID号,和/或登陆时间,和/或在线时长。
优选的,所述步骤S22中,
所述出口告警日志组中包括若干出口告警日志,且所述出口告警日志中的源IP地址为内网IP地址,所述出口告警日志中的目的IP地址为外网IP地址;以及
所述入口告警日志组中包括若干入口告警日志,且所述入口告警日志中的源IP地址为外网IP地址,所述所述入口告警日志中的目的IP地址为内网IP地址;以及
所述内部告警日志组中包括若干内部告警日志,且所述内部告警日志中的源IP地址为内网IP地址,所述内部告警日志中的目的IP地址为内网IP地址。
优选的,一种网络安全日志关键信息提取的系统,应用于网络安全日志关键信息提取的方法,具体包括:
获取模块,用于于网络安全日志中获取防火墙告警日志和内部网关登录日志;
处理模块,连接所述获取模块,用于对所述防火墙告警日志进行处理得到内网结果IP列表;
所述内网结果IP列表中包括若干内网IP地址;
生成模块,分别连接所述处理模块和所述获取模块,用于根据所述内网结果IP列表于所述内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
所述内网用户使用记录列表包括各所述内网IP地址,以及与所述内网IP地址对应的分配日志和用户登录信息;
存入模块,连接所述生成模块,用于将所述内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用。
优选的,所述处理模块具体包括:
过滤单元,用于按照预设规则对所述防火墙告警日志进行过滤得到有效告警日志列表;
所述有效告警日志列表中包括若干条有效告警日志;
分组单元,连接所述过滤单元,用于根据各所述有效告警日志中源地址和目的地址的指向,将各所述有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
第一提取单元,连接所述分组单元,用于对所述出口告警日志组进行关键信息提取得到外网访问IP列表;
所述外网访问IP列表中包括若干外网目的IP地址;
第一生成单元,分别连接所述第一提取单元和所述分组单元,用于根据所述外网访问IP列表于所述入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
所述第一内网访问记录列表中包括若干被各所述外网目的IP地址访问的第一内网目的IP地址;
第二生成单元,分别连接所述第一生成单元和所述分组单元,用于根据所述第一内网访问记录表于所述内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
所述第二内网访问记录列表中包括若干被所述第一内网目的IP地址访问的第二内网目的IP地址;
第二提取单元,分别连接所述第一提取单元和所述分组单元,用于于所述出口告警日志组中提取访问所述外网访问IP列表中的各所述外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
第三提取单元,分别连接所述第一生成单元、所述第二生成单元及所述第二提取单元,用于提取同时出现在所述第一内网访问记录列表、所述第二内网访问记录列表以及所述内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
本发明的有益效果:
该发明可以有效结合防火墙产生的告警日志和内部网关登陆信息,匹配出作为源地址和目的地址同时出现在出口告警和入口告警日志中的内网IP地址,通过内网IP地址的分配记录追溯到使用该主机的用户,将其行为记录放入待分析数据库,以便做更进一步的分析,大大减少了管理员的分析工作量,具有目标明确,指向性强的特点。
附图说明
图1为本发明较佳的实施例中,一种网络安全日志关键信息提取方法的流程示意图;
图2为本发明较佳的实施例中,对防火墙告警日志进行处理的流程示意图;
图3为本发明较佳的实施例中,一种网络安全日志关键信息提取的系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
本发明为了解决上述问题,现提供一种网络安全日志关键信息提取方法,如图1所示,包括以下步骤:
步骤S1:于网络安全日志中获取防火墙告警日志和内部网关登录日志;
步骤S2:对防火墙告警日志进行处理得到内网结果IP列表;
内网结果IP列表中包括若干内网IP地址;
步骤S3:根据内网结果IP列表于内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
内网用户使用记录列表包括各内网IP地址,以及与内网IP地址对应的分配日志和用户登录信息;
步骤S4:将内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用。
具体地,本实施例中,从防火墙告警日志中处理得到内网结果IP列表,然后将该内网结果IP列表在内部网关登陆日志中进行检索并生成内网用户使用列表,将内网用户使用记录列表中的IP地址和其对应的分配日志和用户登陆信息存入待分析数据库中,以供进一步分析。
本发明较佳的实施例中,如图2所示,步骤S2具体包括:
步骤S21:按照预设规则对防火墙告警日志进行过滤得到有效告警日志列表;
有效告警日志列表中包括若干条有效告警日志;
步骤S22:根据各有效告警日志中源地址和目的地址的指向,将各有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
步骤S23:对出口告警日志组进行关键信息提取得到外网访问IP列表;
外网访问IP列表中包括若干外网目的IP地址;
步骤S24:根据外网访问IP列表于入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
第一内网访问记录列表中包括若干被各外网目的IP地址访问的第一内网目的IP地址;
步骤S25:根据第一内网访问记录表于内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
第二内网访问记录列表中包括若干被第一内网目的IP地址访问的第二内网目的IP地址;
步骤S26:于出口告警日志组中提取访问外网访问IP列表中的各外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
步骤S27:提取同时出现在第一内网访问记录列表、第二内网访问记录列表以及内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
具体地,本实施例中,该网络安全日志关键信息提取方法从出口告警日志组入手,在出口告警日志中出现很可能因为内部网络被攻击了,进而向外网发送消息。出口告警日志组中存在的外网IP地址,如果在入口告警日志组中也有存在,且两者在一定的时间间隔内,则表明这两条日志可能存在关联。那么,根据入口告警日志组中的内网IP地址确定内网使用者,依据内网使用者的IP地址和ID账号等消息,查找内网网关日志,将内网用户对内网数据的访问情况进行汇总,再进行分析。
上述防火墙告警日志中包括若干IP地址,该IP地址一般构成为如下形式,logger_IP_tuple=(设备IP(device_IP),(源地址(src_IP),目的地址(dst_IP))…),将上述防火墙告警日志按照日志类型字段分类,可以分为:只含设备IP地址的日志;只含设备IP地址和单个其他IP地址的日志;含设备IP地址、源IP地址和目的IP地址的日志;含设备IP地址、一组以上的源IP地址和目的IP地址组合的日志,其中上述其他IP地址包括源IP地址的目的IP地址。由于只含设备IP地址的日志以及只含设备IP地址和单个其他IP地址的日志未记录数据访问的指向,不具有分析价值,因此本发明的技术方案中,在对上述防火墙告警日志进行关键信息提取前首先过滤掉只含有设备IP的日志以及只含设备IP地址和单个其他IP地址的日志,并将过滤后的结果存储为有效告警日志列表,将有效告警日志列表表示为(filter_logger_list),则该有效告警日志列表的一般构成为如下形式:filter_logger_list=[(源地址(src_IP_1),目的地址(dst_IP_1),告警日志记录时间LOGGER_TIME_1),...],从而完成对防火墙告警日志过滤得到有效告警日志列表。
将过滤后列表,即上述有效告警日志列表的成员中的IP地址分类为内网IP地址和外网IP地址,根据源IP地址和目的IP地址的指向的不同进行分类:将源IP地址为内网IP地址,目的IP地址为外网IP地址的告警日志记为出口告警日志组;将源IP地址为外网IP地址,目的IP地址为内网IP地址的告警日志记为入口告警日志组;将源IP地址为内网IP地址,目的IP地址为内网IP地址的告警日志记为内部告警日志组。
提取出口告警日志组(export_warning_logger)中的外网访问IP列表(export_IP_outer_list),export_IP_outer_list=[IP_outer_1,IP_outer_2,...],以外网访问IP地址(例如,IP_outer_1)为查找关键词(key_outer),查找入口告警日志组(entrance_warning_logger)中的被export_IP_outer_list中的的IP访问过的内网主机,查找结果以IP地址标识,结果存储为第一内网访问记录列表(IP_outer2inner_list)。
再以第一内网访问记录列表(IP_outer2inner_list)中的第一内网目的IP地址为查找关键词(key_inner),查找内部告警日志组(inner_warning_logger),查找所有被(IP_outer2inner_list)中的内网IP地址访问过的其他内网主机,查找结果以IP地址标识,结果存储为第二内网访问记录列表(IP_inner2inner_list)。第二内网访问记录列表中包括若干被第一内网目的IP地址访问的第二内网目的IP地址。
提取出口告警日志(export_warning_logger)中的内网源IP地址,记为内网源IP地址列表(export_IP_inner_list)。
提取同时出现在第一内网访问记录列表、第二内网访问记录列表以及内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表(IP_result_list)。
本发明的一个较为优选的实施例中,获取一条防火墙告警日志,该防火墙告警日志为Cisco防火墙syslog格式告警日志,具体为:
Mar 10 00:00:12 172.16.1.33:Mar 10 00:05:50GMT:%ASA-session-4-500004:Invalid transport field for protocol=UDP,from 10.10.90.87/0to117.91.97.122/0
应用本发明的技术方案对该防火墙告警日志进行关键信息提取,具体包括:
1).用正则表达式提取防火墙告警日志中的IP地址,10.10.90.87(源地址),172.16.1.33(目的地址)和117.91.97.122,其中172.16.1.33为设备IP地址,丢弃不用。
2).判断IP地址内外网归属,10.10.90.87为内网IP地址,117.91.97.122为外网IP地址,该防火墙告警日志的源IP地址到目的IP地址的指向为从内网到外网,归为外网访问IP列表并存储。
3).用外网访问IP列表中的IP地址:117.91.97.122作为关键字,到分类后的入口告警日志组中进行查找,查找到对应的告警记录为(117.91.97.122,[10.10.90.32,10.24.10.16]),即访问过的第一内网目的IP地址列表为IP_outer2inner_list=[10.10.90.32,10.24.10.16],并记为第一内网访问记录列表。
4).用第一内网访问记录列表IP_outer2inner_list的目的IP地址为key,查找到访问过的第二内网目的IP地址,记为第二内网访问记录列表:IP_inner2inner_list=[10.10.128.21,10.240.3.139,10.10.91.107,10.240.3.60,10.24.60.135]。
5).将IP_outer2inner_list与IP_inner2inner_list两者进行合并,IP_inner_dst_list=[10.10.128.21,10.240.3.139,10.10.91.107,10.240.3.60,10.24.60.135,10.10.90.32,10.24.10.16]。
6).提取出口告警日志(export_warning_logger)中的内网源IP地址(export_IP_inner_list),查询同时出现在export_IP_inner_list和IP_inner_list中的内网IP地址,存储为内网结果IP列表IP_result_list=[10.10.90.32]。
7).用IP_result_list查询内部网关登录日志,得到内网用户使用记录列表(10.10.90.32,Group=SSLVPN,Username=songxushou,login_time=Mar 10 00:01:12,Duration=2h:55m:07s)。
本发明较佳的实施例中,步骤S21中,有效告警日志中至少包括设备IP地址、源IP地址以及目的IP地址。
本发明较佳的实施例中,步骤S21中,预设规则为采用正则表达式匹配的方式以得到有效告警日志列表。
本发明较佳的实施例中,用户使用记录列表中包括各内网IP地址对应的用户ID号,和/或登陆时间,和/或在线时长。
本发明较佳的实施例中,步骤S22中,
出口告警日志组中包括若干出口告警日志,且出口告警日志中的源IP地址为内网IP地址,出口告警日志中的目的IP地址为外网IP地址;以及
入口告警日志组中包括若干入口告警日志,且入口告警日志中的源IP地址为外网IP地址,入口告警日志中的目的IP地址为内网IP地址;以及
内部告警日志组中包括若干内部告警日志,且内部告警日志中的源IP地址为内网IP地址,内部告警日志中的目的IP地址为内网IP地址。
本发明较佳的实施例中,一种网络安全日志关键信息提取的系统,应用于一种网络安全日志关键信息提取的方法,如图3所示,具体包括:
获取模块1,用于于网络安全日志中获取防火墙告警日志和内部网关登录日志;
处理模块2,连接获取模块1,用于对防火墙告警日志进行处理得到内网结果IP列表;
内网结果IP列表中包括若干内网IP地址;
生成模块3,分别连接处理模块2和获取模块1,用于根据内网结果IP列表于内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
内网用户使用记录列表包括各内网IP地址,以及与内网IP地址对应的分配日志和用户登录信息;
存入模块4,连接生成模块3,用于将内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用。
具体地,本实施例中,处理模块2连接获取模块1用于处理防火墙日志来得到内网结果IP列表,将内网结果IP列表在生成模块3中的内部网关登陆日志中进行检索得到内网用户使用记录列表;再将内网用户使用记录列表经过存入模块4到待分析数据库中,用来进一步分析。
本发明较佳的实施例中,处理模块具体包括:
过滤单元21,用于按照预设规则对防火墙告警日志进行过滤得到有效告警日志列表;
有效告警日志列表中包括若干条有效告警日志;
分组单元22,连接过滤单元21,用于根据各有效告警日志中源地址和目的地址的指向,将各有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
第一提取单元23,连接分组单元22,用于对出口告警日志组进行关键信息提取得到外网访问IP列表;
外网访问IP列表中包括若干外网目的IP地址;
第一生成单元24,分别连接第一提取单元23和分组单元22,用于根据外网访问IP列表于入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
第一内网访问记录列表中包括若干被各外网目的IP地址访问的第一内网目的IP地址;
第二生成单元25,分别连接第一生成单元24和分组单元22,用于根据第一内网访问记录表于内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
第二内网访问记录列表中包括若干被第一内网目的IP地址访问的第二内网目的IP地址;
第二提取单元26,分别连接所述第一提取单元23和所述分组单元22,用于于出口告警日志组中提取访问外网访问IP列表中的各外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
第三提取单元27,分别连接第一生成单元24、第二生成单元25及第二提取单元26,用于提取同时出现在第一内网访问记录列表、第二内网访问记录列表以及内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (6)

1.一种网络安全日志关键信息提取方法,其特征在于,包括以下步骤:
步骤S1:于网络安全日志中获取防火墙告警日志和内部网关登录日志;
步骤S2:对所述防火墙告警日志进行处理得到内网结果IP列表;
所述内网结果IP列表中包括若干内网IP地址;
步骤S3:根据所述内网结果IP列表于所述内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
所述内网用户使用记录列表包括各所述内网IP地址,以及与所述内网IP地址对应的分配日志和用户登录信息;
步骤S4:将所述内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用;
所述步骤S2具体包括:
步骤S21:按照预设规则对所述防火墙告警日志进行过滤得到有效告警日志列表;
所述有效告警日志列表中包括若干条有效告警日志;
步骤S22:根据各所述有效告警日志中源地址和目的地址的指向,将各所述有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
步骤S23:对所述出口告警日志组进行关键信息提取得到外网访问IP列表;
所述外网访问IP列表中包括若干外网目的IP地址;
步骤S24:根据所述外网访问IP列表于所述入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
所述第一内网访问记录列表中包括若干被各所述外网目的IP地址访问的第一内网目的IP地址;
步骤S25:根据所述第一内网访问记录列表于所述内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
所述第二内网访问记录列表中包括若干被所述第一内网目的IP地址访问的第二内网目的IP地址;
步骤S26:于所述出口告警日志组中提取访问所述外网访问IP列表中的各所述外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
步骤S27:提取同时出现在所述第一内网访问记录列表、所述第二内网访问记录列表以及所述内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
2.根据权利要求1所述的网络安全日志关键信息提取方法,其特征在于,所述步骤S21中,所述有效告警日志中至少包括设备IP地址、源IP地址以及目的IP地址。
3.根据权利要求1所述的网络安全日志关键信息提取方法,其特征在于,所述步骤S21中,所述预设规则为采用正则表达式匹配的方式以得到所述有效告警日志列表。
4.根据权利要求1所述的网络安全日志关键信息提取方法,其特征在于,所述用户使用记录列表中包括各所述内网IP地址对应的用户ID号,和/或登陆时间,和/或在线时长。
5.根据权利要求1所述的网络安全日志关键信息提取方法,其特征在于,所述步骤S22中,
所述出口告警日志组中包括若干出口告警日志,且所述出口告警日志中的源IP地址为内网IP地址,所述出口告警日志中的目的IP地址为外网IP地址;以及
所述入口告警日志组中包括若干入口告警日志,且所述入口告警日志中的源IP地址为外网IP地址,所述所述入口告警日志中的目的IP地址为内网IP地址;以及
所述内部告警日志组中包括若干内部告警日志,且所述内部告警日志中的源IP地址为内网IP地址,所述内部告警日志中的目的IP地址为内网IP地址。
6.一种网络安全日志关键信息提取的系统,其特征在于,应用如权利要求1-5中任意一项所述的网络安全日志关键信息提取的方法,具体包括:
获取模块,用于于网络安全日志中获取防火墙告警日志和内部网关登录日志;
处理模块,连接所述获取模块,用于对所述防火墙告警日志进行处理得到内网结果IP列表;
所述内网结果IP列表中包括若干内网IP地址;
生成模块,分别连接所述处理模块和所述获取模块,用于根据所述内网结果IP列表于所述内部网关登录日志中进行检索,并根据检索结果生成内网用户使用记录列表;
所述内网用户使用记录列表包括各所述内网IP地址,以及与所述内网IP地址对应的分配日志和用户登录信息;
存入模块,连接所述生成模块,用于将所述内网用户使用记录列表存入预先生成的待分析数据库中,以供更进一步的分析使用;
所述处理模块具体包括:
过滤单元,用于按照预设规则对所述防火墙告警日志进行过滤得到有效告警日志列表;
所述有效告警日志列表中包括若干条有效告警日志;
分组单元,连接所述过滤单元,用于根据各所述有效告警日志中源地址和目的地址的指向,将各所述有效告警日志进行分组得到出口告警日志组、入口告警日志组以及内部告警日志组;
第一提取单元,连接所述分组单元,用于对所述出口告警日志组进行关键信息提取得到外网访问IP列表;
所述外网访问IP列表中包括若干外网目的IP地址;
第一生成单元,分别连接所述第一提取单元和所述分组单元,用于根据所述外网访问IP列表于所述入口告警日志组中进行检索,并根据检索结果生成第一内网访问记录列表;
所述第一内网访问记录列表中包括若干被各所述外网目的IP地址访问的第一内网目的IP地址;
第二生成单元,分别连接所述第一生成单元和所述分组单元,用于根据所述第一内网访问记录列表于所述内部告警日志组中进行检索,并根据检索结果生成第二内网访问记录列表;
所述第二内网访问记录列表中包括若干被所述第一内网目的IP地址访问的第二内网目的IP地址;
第二提取单元,分别连接所述第一提取单元和所述分组单元,用于于所述出口告警日志组中提取访问所述外网访问IP列表中的各所述外网目的IP地址的若干内网源IP地址,并存储为内网源IP地址列表;
第三提取单元,分别连接所述第一生成单元、所述第二生成单元及所述第二提取单元,用于提取同时出现在所述第一内网访问记录列表、所述第二内网访问记录列表以及所述内网源IP地址列表中的内网IP地址,并存储为内网结果IP列表。
CN201910578626.3A 2019-06-28 2019-06-28 一种网络安全日志关键信息提取方法及系统 Active CN110278213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578626.3A CN110278213B (zh) 2019-06-28 2019-06-28 一种网络安全日志关键信息提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578626.3A CN110278213B (zh) 2019-06-28 2019-06-28 一种网络安全日志关键信息提取方法及系统

Publications (2)

Publication Number Publication Date
CN110278213A CN110278213A (zh) 2019-09-24
CN110278213B true CN110278213B (zh) 2021-08-06

Family

ID=67963660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578626.3A Active CN110278213B (zh) 2019-06-28 2019-06-28 一种网络安全日志关键信息提取方法及系统

Country Status (1)

Country Link
CN (1) CN110278213B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194088B (zh) * 2021-04-28 2022-08-02 广东电网有限责任公司广州供电局 访问拦截方法、装置、日志服务器和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056211A (zh) * 2007-06-22 2007-10-17 中兴通讯股份有限公司 一种实现用户上网行为审计的方法及系统
US7661136B1 (en) * 2005-12-13 2010-02-09 At&T Intellectual Property Ii, L.P. Detecting anomalous web proxy activity
CN102082681A (zh) * 2009-11-26 2011-06-01 中国移动通信集团天津有限公司 确定用户上网行为记录的方法及装置
CN103297561A (zh) * 2013-05-31 2013-09-11 中国联合网络通信集团有限公司 Ip地址溯源方法和装置
CN109729050A (zh) * 2017-10-31 2019-05-07 北京国双科技有限公司 一种网络访问监控方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5518594B2 (ja) * 2010-06-30 2014-06-11 三菱電機株式会社 内部ネットワーク管理システム及び内部ネットワーク管理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7661136B1 (en) * 2005-12-13 2010-02-09 At&T Intellectual Property Ii, L.P. Detecting anomalous web proxy activity
CN101056211A (zh) * 2007-06-22 2007-10-17 中兴通讯股份有限公司 一种实现用户上网行为审计的方法及系统
CN102082681A (zh) * 2009-11-26 2011-06-01 中国移动通信集团天津有限公司 确定用户上网行为记录的方法及装置
CN103297561A (zh) * 2013-05-31 2013-09-11 中国联合网络通信集团有限公司 Ip地址溯源方法和装置
CN109729050A (zh) * 2017-10-31 2019-05-07 北京国双科技有限公司 一种网络访问监控方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于URL特征检测的违法网站识别方法";凡友荣,杨涛,王永剑,姜国庆;《计算机工程》;20180331;第44卷(第3期);全文 *

Also Published As

Publication number Publication date
CN110278213A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
US10366229B2 (en) Method for detecting a cyber attack
CN107172022B (zh) 基于入侵途径的apt威胁检测方法和系统
US10367827B2 (en) Using network locations obtained from multiple threat lists to evaluate network data or machine data
US10516671B2 (en) Black list generating device, black list generating system, method of generating black list, and program of generating black list
CN112165462A (zh) 基于画像的攻击预测方法、装置、电子设备及存储介质
CN107360118B (zh) 一种高级持续威胁攻击防护方法及装置
CN113347170B (zh) 一种基于大数据框架的智能分析平台设计方法
Do Xuan Detecting APT attacks based on network traffic using machine learning
CN107145779B (zh) 一种离线恶意软件日志的识别方法和装置
CN107733902A (zh) 一种目标数据扩散过程的监控方法及装置
CN113706100B (zh) 配电网物联终端设备实时探测识别方法与系统
CN112491873A (zh) 基于字典树的网络威胁检测方法、装置、设备及存储介质
CN107623691A (zh) 一种基于反向传播神经网络算法的DDoS攻击检测系统及方法
CN114598499B (zh) 结合业务应用的网络风险行为分析方法
CN115242438A (zh) 基于异质信息网络的潜在受害群体定位方法
CN110278213B (zh) 一种网络安全日志关键信息提取方法及系统
CN100379201C (zh) 可控计算机网络的分布式黑客追踪的方法
CN115514558A (zh) 一种入侵检测方法、装置、设备及介质
Thi et al. Federated learning-based cyber threat hunting for apt attack detection in SDN-enabled networks
CN110830416A (zh) 网络入侵检测方法和装置
CN112003884B (zh) 一种网络资产的采集和自然语言检索方法
CN108540471B (zh) 移动应用网络流量聚类方法、计算机可读存储介质和终端
Ruzhi et al. A database security gateway to the detection of SQL attacks
Xu et al. IoT device recognition framework based on network protocol keyword query
CN114500122A (zh) 一种基于多源数据融合的特定网络行为分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant