CN100514916C - 安全管理中心系统中的日志格式化单元及方法 - Google Patents
安全管理中心系统中的日志格式化单元及方法 Download PDFInfo
- Publication number
- CN100514916C CN100514916C CNB2006100366174A CN200610036617A CN100514916C CN 100514916 C CN100514916 C CN 100514916C CN B2006100366174 A CNB2006100366174 A CN B2006100366174A CN 200610036617 A CN200610036617 A CN 200610036617A CN 100514916 C CN100514916 C CN 100514916C
- Authority
- CN
- China
- Prior art keywords
- security object
- object equipment
- formatting
- field
- journal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种安全管理中心系统中的日志格式化单元，所述安全管理中心系统包括多个安全对象设备，所述格式化单元包括：存储单元，用于存储各安全对象设备对应的日志格式化描述信息；格式化单元，用于按照所述各安全对象设备对应的日志格式化描述信息对各安全对象设备的日志进行格式化。相应的，本发明还公开一种安全管理中心系统中日志格式化方法。本发明在安全管理中心系统增加新的安全对象设备，或者安全对象设备更改了日志格式时，不需要对应的修改代码，也不需要重新编写代码编译系统，不会造成系统频繁升级。
Description
技术领域
本发明涉及日志处理技术，更具体的说，本发明涉及一种安全管理中心系统中的日志格式化单元及方法。
背景技术
安全管理中心(Security Operation Center，SOC)系统主要功能是从各种安全对象设备(主机、防火墙、IDS、数据库、WEB服务器等)收集日志，进行格式化处理，然后进行相关性分析，生成与安全相关的日志。因此，收集各种安全对象设备的日志是SOC系统的重要工作。由于各种安全对象设备产生的日志格式都不一样，如何统一处理这些日志成为一个重要的问题。
现有技术中主要采用针对各种安全对象产生的各种格式的日志(主要是SYSLOG，SNMP TRAP)，采用代码匹配，将各种安全对象设备日志里的内容提取出来，并填写到一个统一的格式里去，基本上针对一种安全对象设备的日志格式，需要编写对应的一种代码来处理。
如图1所示，对于每种类型的安全对象设备，例如图示的A类型防火墙、B类型防火墙和路由器，需要编写对应的格式化器1、格式化器2及格式化器3去格式化相应类型设备上报的日志，最终生成统一格式的日志，但该种方案存在如下的缺点：
当增加新的安全对象设备或者安全对象设备更改了日志格式时将需要增加和修改对应的格式化器才能做到正确的采集格式化日志，即在SOC系统中需要对应的修改代码，重新发布，这样会造成系统维护量大，造成系统升级频繁，而且每次更改代码需要重新编译系统。
发明内容
本发明解决的技术问题是提供一种安全管理中心系统中的日志格式化单元及方法，在安全管理中心系统增加新的安全对象设备，或者安全对象设备更改了日志格式时，不需要对应的修改代码，也不需要重新编写代码编译系统，不会造成系统频繁升级。
为解决上述问题，本发明的安全管理中心系统中的日志格式化单元，所述安全管理中心系统包括多个安全对象设备，所述格式化单元包括：
存储单元，用于存储各安全对象设备对应的日志格式化描述信息，所述日志格式化描述信息包括各安全对象设备产生的日志包含的字段、该字段的类型、位置、标志及该字段对应的格式化日志的字段名称，以及该字段对应的格式化日志的提取公式及该字段对应的提取方法；
格式化单元，用于按照所述各安全对象设备对应的日志格式化描述信息对各安全对象设备的日志进行格式化。
其中，所述格式化单元具体包括：
载入单元，用于载入各安全对象设备日志格式化对应的日志格式化描述信息；
日志格式化描述信息获取单元，用于获取安全对象设备对应的日志格式化描述信息；
格式化处理单元，用于按照该安全对象设备对应的日志格式化描述信息对该安全对象设备的日志进行格式化。
其中，所述日志格式化描述信息包括该安全对象设备标识信息、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式；
所述日志格式化描述信息获取单元具体包括：
查询处理单元，用于根据安全对象设备标识信息查询是否存在该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式；
提取单元，在查询处理单元查询结果为是后提取该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式。
其中，所述安全对象设备标识信息为安全对应类型和/或版本信息。
相应地，本发明的一种安全管理中心系统中的日志格式化方法，该方法包括：
载入各安全对象设备日志格式化对应的日志格式化描述信息，所述日志格式化描述信息包括各安全对象设备产生的日志包含的字段、该字段的类型、位置、标志及该字段对应的格式化日志的字段名称，以及该字段对应的格式化日志的提取公式及该字段对应的提取方法；
接收安全对象设备的日志，获取该安全对象设备对应的日志格式化描述信息；
按照该安全对象设备对应的日志格式化描述信息对该安全对象设备的日志进行格式化。
其中，所述日志格式化描述信息包括该安全对象设备标识信息、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式；
所述获取安全对象设备对应的日志格式化描述信息具体包括：
根据安全对象设备标识信息查询是否存在该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式；
在查询处理单元查询结果为是后提取该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式。
其中，所述安全对象设备标识信息为安全对应类型和/或版本信息。
与现有技术相比，本发明具有以下有益效果：
本发明预先存储各安全对象设备对应的日志格式化描述信息；接收到安全对象设备的日志后，按照该安全对象设备对应的日志格式化描述信息对各安全对象设备的日志进行格式化。由于采用基于描述的方式，将对各种安全对象设备的日志进行格式化的信息以日志格式化描述信息清楚的描述出来，对各安全对象设备的日志仅需根据相应的日志格式化描述信息进行日志格式化，当安全管理中心系统增加新的安全对象设备，或者安全对象设备更改了日志格式时，而只需载入新的日志格式化描述信息即可，不需要对应的修改代码，也不需要重新编写代码编译系统，减少了系统开发维护的工作量，减少了系统的频繁升级，有效的节约了成本，提高了系统的运行质量和稳定性。
附图说明
图1是现有技术安全管理中心系统中进行日志格式化示意图；
图2是本发明安全管理中心系统中的日志格式化单元组成功能模块图；
图3是本发明安全管理中心系统中的日志格式化单元进行日志格式化的一种示例示意图；
图4是本发明安全管理中心系统中日志格式化方法的主要流程图。
具体实施方式
本发明的核心在于基于描述的方式，将对各种安全对象设备的日志进行格式化的信息以日志格式化描述信息清楚的描述出来，对各安全对象设备的日志仅需根据相应的日志格式化描述信息进行日志格式化，当安全管理中心系统增加新的安全对象设备，或者安全对象设备更改了日志格式时，不需要对应的修改代码，也不需要重新编写代码编译系统、频繁升级，而只需载入新的日志格式化描述信息即可，下面详细说明。
参考图2，该图是本发明安全管理中心系统中的日志格式化单元组成功能模块图。
本发明中安全管理中心系统日志格式化单元主要包括：存储单元1和格式化单元2，其中
存储单元1，主要用于存储各安全对象设备对应的日志格式化描述信息，具体实现时，所述日志格式化描述信息可包括该安全对象设备标识信息(例如安全对象设备类型、版本号等)、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式；
格式化单元2，主要用于按照所述存储单元1存储的各安全对象设备对应的日志格式化描述信息对各安全对象设备的日志进行格式化，作为一种具体的实现，所述格式化单元2可包括：
载入单元21，所述载入单元21主要用于载入各安全对象设备日志格式化对应的日志格式化描述信息，本发明中日志格式化单元需提供接口，允许用户控制重新加载日志描述表，以实现系统的动态加载功能；
日志格式化描述信息查询获取单元22，所述日志格式化描述信息查询获取单元22主要用于查询获取安全对象设备对应的日志格式化描述信息，具体实现时，对于日志格式化描述信息包括该安全对象设备标识信息、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式，一种具体实现，所述日志格式化描述信息查询获取单元22具体包括：
查询处理单元221，用于根据安全对象设备标识信息查询是否存在该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式；
提取单元222，在查询处理单元查询结果为是后提取该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式。
格式化处理单元23，所述格式化处理单元23主要用于按照所述查询获取的该安全对象设备对应的日志格式化描述信息对该安全对象设备的日志进行格式化。
上述本发明中安全管理中心系统针对各种安全对象设备和该安全对象设备产生的日志格式，可定制一个对应的日志格式化描述信息，各个安全对象设备对应的日志格式化描述可以日志格式化描述信息表的形式存储，所述日志格式化描述信息表用来描述各安全对象设备产生的特定格式的日志包含哪些字段，以及字段的类型、位置和标志等信息，以及该字段对应的格式化日志的字段名称和提取公式，例如一种日志格式化描述信息表如表一所示：
表一
| 类型 | 版本号 | 字段 | 提取公式 |
| PIX | 5 | ID | .*-|S+-(|d+)：.* |
| PIX | 5 | 源IP | .*|s*from|s*[host]？|s*(|d+|.|d+|.|d+|.|d+).* |
上述表一是如何提取某防火墙上报的日志里的信息的日志格式化描述信息表的一部分。当收到该防火墙设备的日志后，根据该防火墙设备的类型、版本等信息可以查询得到该设备对应在日志格式化描述信息表中的相关记录，根据这些记录，可以确定该防火墙设备上报的日志中包含哪些字段，根据各字段对应的提取方法可进行格式化，将相关信息提取出来，对应到格式化日志的字段中。当增加新的安全对象设备类型，或者某安全对象设备类型变更了日志格式，比如增加、删除字段，改变字段定义等，只需要通过更新日志格式化描述信息表就可以完成新的安全对象设备的日志的格式化工作，不需要编写代码，不需要重新编译，甚至不需要重新启动程序，下面举例说明。
参考图3，该图是一种安全管理中心系统中的日志格式化单元进行日志格式化的一种示例示意图。
本实施例中安全管理中心系统中包括3种安全对象设备：A类型防火墙、B类型防火墙和路由器，现有技术中需要编写对应的格式化器1、格式化器2及格式化器3，去格式化相应类型设备上报的日志，而本发明中只需要一个统一日志格式化单元即可，所述日志格式化单元在接收到一个安全对象设备的日志后，例如接收到A类型防火墙的日志，则获取配置的A类型防火墙对应的日志格式化描述信息，根据所述A类型防火墙对应的日志格式化描述信息的描述进行格式化，而接收到B类型防火墙的日志，则获取配置的B类型防火墙对应的日志格式化描述信息，根据所述B类型防火墙对应的日志格式化描述信息的描述进行格式化，在增加新的安全对象设备或安全对象设备的日志格式改变时，只需修改日志格式化描述表，然后重新加载新的日志格式化描述表即可，无需重新修改编码。
参考图4，该图是本发明安全管理中心系统日志格式化方法的主要流程图，主要的工作流程如下：
步骤s11，日志格式化单元初始化时加载日志格式化描述信息表，完成初始化工作。
步骤s12，接收到日志后，根据日志对应的安全对象的类型和版本信息，得到对应的日志格式化描述信息记录。
步骤s13，根据日志格式化描述信息记录，从日志中提取出相关数据，生成格式化日志中对应的字段内容。
步骤s14，对一个日志分析完成后，将生成的格式化日志的内容填写到格式化日志中对应的字段，生成格式化日志。
综上，本发明采用基于描述的方式，将对各种安全对象设备的日志进行格式化的信息以日志格式化描述信息清楚的描述出来，对各安全对象设备的日志仅需根据相应的日志格式化描述信息进行日志格式化，当安全管理中心系统增加新的安全对象设备，或者安全对象设备更改了日志格式时，而只需载入新的日志格式化描述信息即可，不需要对应的修改代码，也不需要重新编写代码编译系统，减少了系统开发维护的工作量，减少了系统的频繁升级，有效的节约了成本，提高了系统的运行质量和稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1、一种安全管理中心系统中的日志格式化单元，所述安全管理中心系统包括多个安全对象设备，其特征在于，包括：
存储单元，用于存储各安全对象设备对应的日志格式化描述信息，所述日志格式化描述信息包括各安全对象设备产生的日志包含的字段、该字段的类型、位置、标志及该字段对应的格式化日志的字段名称，以及该字段对应的格式化日志的提取公式及该字段对应的提取方法；
格式化单元，用于按照所述各安全对象设备对应的日志格式化描述信息对各安全对象设备的日志进行格式化。
2、根据权利要求1所述的安全管理中心系统中的日志格式化单元，其特征在于，所述格式化单元具体包括：
载入单元，用于载入各安全对象设备日志格式化对应的日志格式化描述信息；
日志格式化描述信息获取单元，用于获取安全对象设备对应的日志格式化描述信息；
格式化处理单元，用于按照该安全对象设备对应的日志格式化描述信息对该安全对象设备的日志进行格式化。
3、根据权利要求2所述的安全管理中心系统中的日志格式化单元，其特征在于，所述日志格式化描述信息包括该安全对象设备标识信息、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式；
所述日志格式化描述信息获取单元具体包括：
查询处理单元，用于根据安全对象设备标识信息查询是否存在该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式；
提取单元，在查询处理单元查询结果为是后提取该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式。
4、根据权利要求3所述的安全管理中心系统中的日志格式化单元，其特征在于，所述安全对象设备标识信息为安全对应类型和/或版本信息。
5、一种安全管理中心系统中日志格式化方法，其特征在于，包括：
载入各安全对象设备日志格式化对应的日志格式化描述信息，所述日志格式化描述信息包括各安全对象设备产生的日志包含的字段、该字段的类型、位置、标志及该字段对应的格式化日志的字段名称，以及该字段对应的格式化日志的提取公式及该字段对应的提取方法；
接收安全对象设备的日志，获取该安全对象设备对应的日志格式化描述信息；
按照该安全对象设备对应的日志格式化描述信息对该安全对象设备的日志进行格式化。
6、根据权利要求5所述的安全管理中心系统中日志格式化方法，其特征在于，所述日志格式化描述信息包括该安全对象设备标识信息、该安全对象设备日志格式化需提取的各字段名称、各字段提取公式；
所述获取安全对象设备对应的日志格式化描述信息具体包括：
根据安全对象设备标识信息查询是否存在该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式；
在查询处理单元查询结果为是后提取该安全对象设备对应的日志格式化需提取的各字段名称以及各字段提取公式。
7、根据权利要求6所述的安全管理中心系统中日志格式化方法，其特征在于，所述安全对象设备标识信息为安全对应类型和/或版本信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006100366174A CN100514916C (zh) | 2006-07-20 | 2006-07-20 | 安全管理中心系统中的日志格式化单元及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006100366174A CN100514916C (zh) | 2006-07-20 | 2006-07-20 | 安全管理中心系统中的日志格式化单元及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1889459A CN1889459A (zh) | 2007-01-03 |
| CN100514916C true CN100514916C (zh) | 2009-07-15 |
Family
ID=37578719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2006100366174A Active CN100514916C (zh) | 2006-07-20 | 2006-07-20 | 安全管理中心系统中的日志格式化单元及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100514916C (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102065416B (zh) * | 2009-11-18 | 2014-11-19 | 成都市华为赛门铁克科技有限公司 | 日志格式化方法、装置及系统 |
| CN103593277A (zh) * | 2012-08-15 | 2014-02-19 | 深圳市世纪光速信息技术有限公司 | 日志处理方法及系统 |
| CN103929329B (zh) * | 2014-04-14 | 2018-07-27 | 北京音之邦文化科技有限公司 | 日志处理方法、服务端设备和系统 |
| CN104869022B (zh) * | 2015-05-27 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 一种日志采集方法及系统 |
| CN107995149A (zh) * | 2016-10-26 | 2018-05-04 | 北京国双科技有限公司 | 异常消息的处理方法和装置 |
| CN109343993A (zh) * | 2018-09-28 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种云平台的错误信息处理方法及装置 |
-
2006
- 2006-07-20 CN CNB2006100366174A patent/CN100514916C/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN1889459A (zh) | 2007-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739934B (zh) | 差集对账方法、介质、计算机设备及系统 | |
| CN102163353B (zh) | 电子流水日志智能分析系统及方法 | |
| CN100514916C (zh) | 安全管理中心系统中的日志格式化单元及方法 | |
| CN103530290B (zh) | 数据库间的数据迁移方法和系统 | |
| CN103064933B (zh) | 数据查询方法及系统 | |
| CN101770484B (zh) | 一种网站更新实时发布的方法及系统 | |
| CN106776584A (zh) | 文字显示方法、翻译表生成方法、文件翻译方法及装置 | |
| CN106844139A (zh) | 一种日志文件分析方法及装置 | |
| CN103473108A (zh) | 一种Java代码生成方法 | |
| WO2007059469A3 (en) | System and method for delivering results of a search query in an information management system | |
| CN103678109A (zh) | 一种转储文件分析方法、装置和系统 | |
| CN102110102A (zh) | 数据处理方法及装置、文件识别方法及工具 | |
| CN101882135B (zh) | 一种兴趣点数据处理方法和装置 | |
| CN110262949A (zh) | 智能设备日志处理系统及方法 | |
| CN104573024A (zh) | 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统 | |
| CN107797916A (zh) | Ddl语句审核方法和装置 | |
| CN103793487A (zh) | 用于对电子印鉴账户数据集中存取的方法和系统 | |
| CN114255010A (zh) | 电子政务平台中电子文件档案化管理与知识服务协同实现方法 | |
| KR20120003567A (ko) | 로그 관리 시스템과 이의 로그 처리방법 및 이의 로그 처리방법을 저장하는 기록매체 | |
| CN104516953A (zh) | 一种用于电力调度自动化海量报文的黑匣子系统 | |
| CN110134615B (zh) | 应用程序获取日志数据的方法及装置 | |
| CN109359202B (zh) | 基于音频视频记录的电子运维工单自动生成方法及系统 | |
| CN101159632B (zh) | 一种网络事件处理的方法 | |
| CN101706804A (zh) | 对计算机中的文件进行关联管理的方法 | |
| CN115640158A (zh) | 一种基于数据库的检测分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |