CN106685746A - 一种异常日志和流量关联分析的方法 - Google Patents

一种异常日志和流量关联分析的方法 Download PDF

Info

Publication number
CN106685746A
CN106685746A CN201710191563.7A CN201710191563A CN106685746A CN 106685746 A CN106685746 A CN 106685746A CN 201710191563 A CN201710191563 A CN 201710191563A CN 106685746 A CN106685746 A CN 106685746A
Authority
CN
China
Prior art keywords
syslog
message
information
flow
optional parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710191563.7A
Other languages
English (en)
Inventor
应磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yi Information Technology Co Ltd
Original Assignee
Shanghai Yi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yi Information Technology Co Ltd filed Critical Shanghai Yi Information Technology Co Ltd
Priority to CN201710191563.7A priority Critical patent/CN106685746A/zh
Publication of CN106685746A publication Critical patent/CN106685746A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异常日志和流量关联分析的方法，可以在“语义”级别统一SYSLOG的含义，并且通过统一之后的格式对流量进行关联。本发明可以将一个大型网络中的风险事件和流量关联，有助于问题定位，根因溯源，通过本发明，可以将故障事件和流量信息进行自动关联，避免了手工查找带来的复杂定位过程。

Description

一种异常日志和流量关联分析的方法
技术领域
本发明涉及一种分析方法，具体是一种异常日志和流量关联分析的方法。
背景技术
在IT运维领域，SYSLOG日志和流量信息都是非常重要的信息来源。
系统日志（Syslog）协议是在一个IP网络中转发系统日志信息的标准，它是在美国加州大学伯克利软件分布研究中心（BSD）的TCP/IP系统实施中开发的，目前已成为工业标准协议，可用它记录设备的日志。Syslog记录着系统中的任何事件，管理者可以通过查看系统记录随时掌握系统状况。系统日志通过Syslog进程记录系统的有关事件，也可以记录应用程序运作事件。通过适当配置，还可以实现运行Syslog协议的机器之间的通信。通过分析这些网络行为日志，可追踪和掌握与设备和网络有关的情况。
为了探测网络中是否存在异常的访问，业界提出了以检测网络数据流的方法来判断网络异常和攻击的方法，借助实时的检测网络数据流信息，通过与历史记录模式匹配（判断是否正常）、或者与异常模式匹配（判断是否被攻击），让网络管理人员可以实时查看全网的状态，检测网络性能可能出现的瓶颈，并进行自动处理或告警显示，以保证网络高效、可靠地运转。
这两种信息对IT系统的维护都具有重要意义，SYSLOG日志中具备更明确的信息，记录着某个设备的故障、出现的问题以及发生的准确的时间，流量信息记录着网络中某个时刻的流量特征。
现阶段的技术，都只是分离的使用两种信息而不能综合SYSLOG和流量信息，自动的对网络中出现的问题进行分析和定位。
发明内容
本发明的目的在于提供一种异常日志和流量关联分析的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种异常日志和流量关联分析的方法，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)预存一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释，当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息不用，系统能够将所有这些信息归类成“A攻击事件”；(6)不同的消息ID会附加一些“可选参数”，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息；(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式；(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，找到这条SYSLOG日志是由哪些流量触发的；(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，生成新的规则ID。
作为本发明再进一步的方案：完整的syslog日志消息由3部分组成，分别是PRI、HEADER和MSG。
与现有技术相比，本发明的有益效果是：本发明可以将一个大型网络中的风险事件和流量关联，有助于问题定位，根因溯源，通过本发明，可以将故障事件和流量信息进行自动关联，避免了手工查找带来的复杂定位过程。
附图说明
图1为异常日志和流量关联分析的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种异常日志和流量关联分析的方法，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；
(2)完整的syslog消息由3部分组成，分别是PRI、HEADER和MSG。如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；
(3)通过上述两个步骤，可以将一条syslog日志归属到某个厂商或者某个特定操作系统；
(4)在该发明中，预存了一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，就可以将该syslog日志翻译成一个具备唯一ID的消息；
(5)一个消息ID是不同厂商的syslog消息的统一化解释。这样当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息都是不一样的，但是该系统可以将所有这些信息归类成“A攻击事件”。
(6)不同的消息ID同时会附加一些“可选参数”，例如ID为001的消息，可能会存在“来源地址”信息，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息。
(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式。
(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，就可以找到这条SYSLOG日志是由哪些流量触发的。
(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，将会生成新的规则ID。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种异常日志和流量关联分析的方法，其特征在于，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)预存一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释，当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息不用，系统能够将所有这些信息归类成“A攻击事件”；(6)不同的消息ID会附加一些“可选参数”，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息；(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式；(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，找到这条SYSLOG日志是由哪些流量触发的；(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，生成新的规则ID。
2.根据权利要求1所述的异常日志和流量关联分析的方法，其特征在于，完整的syslog日志消息由3部分组成，分别是PRI、HEADER和MSG。
CN201710191563.7A 2017-03-28 2017-03-28 一种异常日志和流量关联分析的方法 Pending CN106685746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710191563.7A CN106685746A (zh) 2017-03-28 2017-03-28 一种异常日志和流量关联分析的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710191563.7A CN106685746A (zh) 2017-03-28 2017-03-28 一种异常日志和流量关联分析的方法

Publications (1)

Publication Number Publication Date
CN106685746A true CN106685746A (zh) 2017-05-17

Family

ID=58828490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710191563.7A Pending CN106685746A (zh) 2017-03-28 2017-03-28 一种异常日志和流量关联分析的方法

Country Status (1)

Country Link
CN (1) CN106685746A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919981A (zh) * 2017-10-31 2018-04-17 江苏省未来网络创新研究院 一种多厂商缓存日志的分析方法
CN109327453A (zh) * 2018-10-31 2019-02-12 北斗智谷（北京）安全技术有限公司 一种特定威胁的识别方法及电子设备
CN110149350A (zh) * 2019-06-24 2019-08-20 国网安徽省电力有限公司信息通信分公司 一种告警日志关联的网络攻击事件分析方法及装置
CN112448849A (zh) * 2020-11-13 2021-03-05 中盈优创资讯科技有限公司 一种智能收集设备故障的方法及装置
CN114143162A (zh) * 2020-08-13 2022-03-04 中盈优创资讯科技有限公司 基于缓存的网络设备syslog信息的规则匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257399A (zh) * 2007-12-29 2008-09-03 中国移动通信集团四川有限公司 业务系统统一安全平台
CN101800668A (zh) * 2010-03-23 2010-08-11 成都市华为赛门铁克科技有限公司 日志归并方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257399A (zh) * 2007-12-29 2008-09-03 中国移动通信集团四川有限公司 业务系统统一安全平台
CN101800668A (zh) * 2010-03-23 2010-08-11 成都市华为赛门铁克科技有限公司 日志归并方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾清: "基于日志采集的分布式网关系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919981A (zh) * 2017-10-31 2018-04-17 江苏省未来网络创新研究院 一种多厂商缓存日志的分析方法
CN109327453A (zh) * 2018-10-31 2019-02-12 北斗智谷（北京）安全技术有限公司 一种特定威胁的识别方法及电子设备
CN110149350A (zh) * 2019-06-24 2019-08-20 国网安徽省电力有限公司信息通信分公司 一种告警日志关联的网络攻击事件分析方法及装置
CN110149350B (zh) * 2019-06-24 2021-11-05 国网安徽省电力有限公司信息通信分公司 一种告警日志关联的网络攻击事件分析方法及装置
CN114143162A (zh) * 2020-08-13 2022-03-04 中盈优创资讯科技有限公司 基于缓存的网络设备syslog信息的规则匹配方法
CN112448849A (zh) * 2020-11-13 2021-03-05 中盈优创资讯科技有限公司 一种智能收集设备故障的方法及装置

Similar Documents

Publication Publication Date Title
CN106685746A (zh) 一种异常日志和流量关联分析的方法
CN106789323A (zh) 一种通信网络管理方法及其装置
CN113328872B (zh) 故障修复方法、装置和存储介质
US11012461B2 (en) Network device vulnerability prediction
CN107341068A (zh) 通过自然语言处理进行运维排障的方法和装置
CN102611565B (zh) 一种基于正则表达式的监控系统告警关联分析方法
CN108810034A (zh) 一种工业控制系统信息资产的安全防护方法
CN106844145A (zh) 一种服务器硬件故障预警方法和装置
CN108111342B (zh) 基于可视化的威胁告警展示方法
CN101453359A (zh) 一种数据库错误信息提取方法及系统
CN104038375A (zh) 一种广电接入网络告警处理分析系统及其分析方法
CN109150869A (zh) 一种交换机信息采集分析系统及方法
CN107390628B (zh) 配网状态监测与预警方法及系统
CN105791028A (zh) 一种服务器集群的监控方法、服务器及系统
CN107819795A (zh) 一种dns主辅服务器数据同步方法、装置及系统
CN108259202A (zh) 一种ca监测预警方法和ca监测预警系统
CN110768845A (zh) 一种智能变电站过程层虚拟连接故障定位系统
CN111669381B (zh) 工业控制网络的风险预警方法及装置
US20220309034A1 (en) Method and system for performing unification processing on multi-format logs in security situation awareness system
CN111177281B (zh) 一种访问管控方法、装置、设备及存储介质
WO2011044783A1 (zh) 一种业务系统的维护系统及方法
CN210724863U (zh) 基于私有云的终端网络关联关系展示平台
CN114389849B (zh) 一种网络安全的灾备演练方法及系统
CN113487840A (zh) 一种煤气管理与监测预警系统
CN109062639B (zh) 一种变电站scd文件的升级信息的显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170517

RJ01 Rejection of invention patent application after publication