CN1645336A - 基于模板的异构日志信息自动提取与分析方法 - Google Patents
基于模板的异构日志信息自动提取与分析方法 Download PDFInfo
- Publication number
- CN1645336A CN1645336A CN 200510023447 CN200510023447A CN1645336A CN 1645336 A CN1645336 A CN 1645336A CN 200510023447 CN200510023447 CN 200510023447 CN 200510023447 A CN200510023447 A CN 200510023447A CN 1645336 A CN1645336 A CN 1645336A
- Authority
- CN
- China
- Prior art keywords
- record
- type
- log
- template
- data item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
一种信息技术领域的基于模板的异构日志信息自动提取与分析方法，根据每类日志文件的结构特点采用XML语言定义日志分析模板，基于模板的日志分析系统进入日志信息的自动提取过程，将提取出的日志信息与对应的安全规则进行匹配，从而判断提取出的日志信息中是否反应了目标设备或系统的异常运行使用情况，每次日志分析操作完成之后，系统将记录下此次分析的日志内容的偏移字节值作为日志分析状态信息保存下来，系统将定时检测各个目标设备或系统记录的日志文件的变化情况，根据记录的日志状态信息即实现对日志增量部分的自动分析。本发明有效地解决了对日志信息的自动分析的需求，不仅提高了对日志信息的利用率，同时也减轻了系统管理员的工作负担。
Description
技术领域
本发明涉及一种日志信息的自动提取与分析方法，特别是一种基于模板的异构日志信息自动提取与分析方法，属于信息技术领域。
背景技术
目前各种主机、服务器、网络设备、安全设备、操作系统和应用系统都具备日志记录功能，记录下设备和系统自身的运行状态和使用情况。对各类日志信息进行采集、统一管理和分析，是建立一个全网审计与监控系统的普遍做法。尽管日志文件中包含着大量有价值的信息，但是这些信息只有在经过深入挖掘之后才能够发挥作用。从目前实施的情况来看，大多数系统侧重于对日志信息的收集，日志的分析能力相对较弱，通常是在发生严重安全事件的情况下采取人工观察的方式搜索日志记录，从中获取感兴趣的信息。而对于拥有大量用户、运行非常繁忙的设备或系统来说，日志记录通常极其庞大，用户所关注的信息往往是被淹没在大量的无用信息当中，采用人工方式进行日志分析的话不仅工作量异常繁重，而且由于不同设备或系统的日志格式各有不同，对于大多数系统管理员来说一般只会对少数系统比较熟悉，并非都能够通晓所有类型的日志记录，所以采用人工方式进行日志分析，工作量和工作难度都非常大，其结果是一般对系统的日常维护与管理不会起到太大的作用。
现在已经有一些专门用于分析日志的工具，但是这些日志分析工具通常只是针对某种特定类型的系统或设备的日志设计，而一般的用户系统大都包含多种类型的系统和设备，采用这些针对特定日志类型的分析工具的话，由于各个日志分析工具彼此的表现形式各有不同，彼此之间无法进行交互，使得各个工具的日志分析结果很难共享，通用性和扩展性都较差，不利于对整个系统的日志进行统计管理与关联分析。
经对现有公开技术文献的检索发现，最近发展很快的一种基于Perl的WEB日志分析工具——“AWStats日志分析器”是由法国的一名计算机工程师LaurentDestailleur个人开发的免费开源软件，最新版本是在2004年12月份发布的6.2版。AWStats支持的日志文件包括IIS日志、Apache日志以及其它Web、Proxy、Wap或者流服务器的日志文件，它能够分析出Web服务器、FTP服务器和Mail服务器的日志中包括的所有可能的信息，如用户访问数、访问时间、访问主机列表、访问IP地址列表、浏览器使用情况、病毒攻击情况等等，并将日志分析结果以统计图表的形式展示给用户。虽然AWStats在Web日志的分析上具有一定的特色，但是在处理机制上仍然存在很大的缺陷：AWStats根据每种日志文件的特点，将每种日志文件的分析功能固化在了该工具中，因此该工具仅仅能实现几种特定的Web日志文件的自动分析，对于除此之外的其它种类的日志文件，只能通过改变原有程序才能实现功能上的扩展，这种机制使得AWStats根本无法满足多种类型的系统、服务器或安全设备的日志分析功能，致使其在应用范围上具有很大的局限性。
发明内容
本发明的目的在于克服现有日志自动分析技术中的不足，提出一种基于模板的异构日志信息自动提取与分析方法，使其针对不同类型的日志，可以在不修改日志分析程序的情况下只需定义相应的日志分析模板即可支持各种主流的日志格式，从而实现对多种异构日志信息的自动提取和分析，有效的提高对系统中各种主流操作系统、应用平台、数据库平台、应用系统、各类网络和安全设备(如入侵检测系统等)产生的日志信息的挖掘和利用能力，为大型系统中的日志分析与安全审计监控管理工作提供了强有力技术支持。
本发明是通过以下技术方案实现的：根据每类日志文件的结构特点采用XML语言定义相应的日志分析模板，在日志分析模板中为日志文件中包含的每种记录类型均定义了特征标识信息，并且还为每种记录中所包含的各个数据项也分别定义了特征标识信息，如数据项的分隔标识、需匹配的先导字符串搜索范围、数据类型等，根据这些标识信息，基于模板的日志分析系统即可进入日志信息的自动提取过程，从日志文件中自动提取出这些数据项的值。然后进行日志信息的分析，将提取出的日志信息与对应的安全规则进行匹配，从而判断提取出的日志信息中是否反应了目标设备或系统的异常运行使用情况。每次日志分析操作完成之后，系统将记录下此次分析的日志内容的偏移字节值作为日志分析状态信息保存下来。系统将定时检测各个目标设备或系统记录的日志文件的变化情况，根据记录的日志状态信息即可实现对日志增量部分的自动分析。
下面对本发明的方法作进一步描述：
一、定义日志分析模板
在本发明中设计了两大类的日志分析模板，分别是文本型日志分析模板和二进制日志分析模板，均采用XML(EXtensible Markup Language，扩展标记语言)描述。
1、定义文本类型日志分析模板
文本类型日志分析模板的定义如下：
<？xml version＝″1.0″encoding＝″iso-8859-1″？>
<文本日志模板
Template_Id＝″″
Record_Type_Num＝″″
Max_Record_Len＝″″
Record_Interval_Start＝″″
Record_Interval_End＝″″>
<记录类型
Record_Type_Name＝″″
Record_Type_Search_Start_Offset＝″″
Record_Type_Search_Len＝″″
Record_Type_Match_Str＝″″>
<数据项
Item_Type＝″″
Item_Name＝″″
Item_Search_Start_Offset＝″″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″″
Option＝″″/>
<数据项……/>
……
<数据项……/>
</记录类型>
……
<记录类型……>
<数据项……/>
……
<数据项……/>
</记录类型>
</文本日志模板>
下面对上述文本型日志分析模板的含义解释如下：
第1行为XML声明，定义了所采用的XML的版本号，encoding属性则指明了数据所采用的编码标准。
文本日志模板中的根元素定义为“文本日志模板”(见第2行)，根元素下定义的属性的含义如下：
| 属性名称 | 含义 |
| Template_Id | 该日志分析模板的标识号，用于区分不同的模板文件 |
| Record_Type_Num | 模板中包括的记录类型数 |
| Max_Record_Len | 记录的最大长度，单位为字节(byte) |
| Record_Interval_Start | 记录分隔的起始标识 |
| Record_Interval_End | 记录分隔的结束标识 |
“文本日志模板”根元素下包括一个或多个“记录类型”子元素，在“记录类型”子元素下定义了多个属性，对应的含义如下：
| 属性名称 | 含义 |
| Type_Name | 记录类型名称 |
| Type_Search_Start_Offset | 搜索该记录类型标识字串的起始位置。该属性有以下几种取值选项，其中str:n表示从记录开始的第n个字节串的位置开始搜索；byte:m表示记录开始的第m个字节的位置开始搜索；str:n+byte:m表示记录开始的第n个字符串的第m个字节开始搜索 |
| Type_Search_Len | 该记录类型标识字串的搜索字节长度，单位为字节(byte) |
| Type_Match_Str | 该记录类型的匹配字符串 |
在每个“记录类型”子元素下又包括一个或多个“数据项”子元素，在“数据项”子元素下定义了多个属性，对应的含义如下：
| 属性名称 | 含义 |
| Item_Type | 数据项的数据类型，包括int：代表整型；short：代表短整型；long：代表长整型；str：代表字符型；stdtime：代表标准时间；IP：代表ip地址；CONST STR：代表字符型常量等 |
| Item_Name | 数据项的名称 |
| Item_Search_Start_Offset | 该数据项在所属记录类型中的起始位置，从该位置开始搜索该数据项的先导匹配字符串。该属性的取值为str:n，表示所属记录类型开始的第n个字符串的位置 |
| Item_Match_Str | 该数据项的先导匹配字符串 |
| Cap_Offset | 在先导匹配字符串后提取数据项内容的位移 |
| Cap_Len | 在先导匹配字符串后提取内容的长度。该属性有以下几种取值选项，其中byte:n表示提取n个字节的内容；single_str表示提取一个字符串的全部内容；single_str:m表示提取一个字符串中头m个字节的内容；multi_str:n:m表示提取最大n个字符串m个字节的内容；to_str:xxx表示从Cap_Offset起一直提取到 |
| xxx字符串为止；to_end表示从Cap_Offset起一直提取到该记录的结束位置 | |
| Value | 提取出的数据项内容经运算处理后的最终结果，采用表达式来表示，也可调用内部函数。例如对于不需要处理的被捕获的原始日志内容，在本发明中采用$cap表示。 |
| Option | 对该数据项的处理。该属性有以下几种取值选项，其中record表示从日志中提取并记录下该数据项的内容；ignore表示忽略该数据项的内容；temp表示暂时记录下该数据项的内容用于后续的处理(如在处理其他数据项时用于运算value值)，在后续处理完成后即可删除此时所记录下的内容；缺省取值为record |
2、定义二进制类型日志分析模板
二进制类型日志分析模板的定义如下：
<？xml version＝″1.0″encoding＝″iso-8859-1″？>
<二进制日志模板
Template_Id＝″″
Record_type_num＝″″
Record_Interval_Method＝″″>
<固定长度配置Record_Fixed_Len＝″″/>
<分隔标志配置Record_Interval_Flag＝″″/>
<获取长度配置Offset＝″″Len＝″″/>
<记录类型
Type_Name＝″″
Type_Flag_Offset＝″″
Type_Flag_Len＝″″
Type_Match_Value＝″″>
<数据项
Item_Type＝″″
Item_Name＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″″
Option＝″″/>
……
<数据项……/>
</记录类型>
……
<记录类型……>
<数据项……/>
……
<数据项……/>
</记录类型>
</二进制日志模板>
下面对上述二进制日志分析模板的含义解释如下：
第1行为XML声明，定义了所采用的XML的版本号，encoding属性则指明了数据所采用的编码标准。
二进制日志模板中的根元素定义为“二进制日志模板”(见第2行)，根元素下定义的属性的含义如下：
| 属性名称 | 含义 |
| Template_Id | 该日志分析模板的标识号，用于区分不同的模板文件 |
| Record_type_num | 该模板中包括的记录类型数 |
| Record_Interval_Method | 各种记录类型之间的间隔方法。该属性有以下几种取 |
| 值选项，其中fixed_len表示以固定长度作为间隔方法；interval_Flag表示以分隔标志作为间隔方法；get_len表示从本记录中获取“记录长度”字段，得到本记录的长度，以确定下一个记录的起始位置。 |
如果根元素“二进制日志模板”下属性Record_Interval_Method的取值为fixed_len，则在该根元素下定义“固定长度配置”子元素，该子元素包括一个属性Record_Fixed_Len，其含义是固定记录的长度值，单位为字节(byte)；
如果属性Record_Interval_Method的取值为interval_flag，则在该根元素下定义“分隔标志配置”子元素，该子元素包括一个属性Record_Interval_Flag，其含义是记录间隔标志；
如果属性Record_Interval_Method的取值为gen_len，则在该根元素下定义“获取长度配置”子元素，该子元素包括Offset和Len两个属性，其含义分别是获取本记录中的“记录长度”字段的偏移位置和字段长度。
另外在“二进制日志模板”根元素下还包括一个或多个“记录类型”子元素，
在“记录类型”子元素下定义了多个属性，对应的含义如下：
| 属性名称 | 含义 |
| Type_Name | 记录类型名称 |
| Type_Flag_Offset | 记录类型标志的偏移量 |
| Type_Flag_Len | 记录类型标志的长度 |
| Type_Match_Value | 记录类型的匹配值 |
在每个“记录类型”子元素下又包括一个或多个“数据项”子元素，在“数据项”子元素下定义了多个属性，对应的含义如下：
| 属性名称 | 含义 |
| Item_Type | 数据项的数据类型，包括int：代表整型；short：代表短整型；long：代表长整型；str：代表字符型；stdtime：代表标准时间；IP：代表ip地址；CONST STR：代表字符型常量等 |
| Item_Name | 数据项的名称 |
| Cap_Offset | 该数据项在所属记录类型中的位移 |
| Cap_Len | 该数据项内容的长度。该属性有以下几种取值选项，其中byte:n表示提取n个字节的内容；single_str表示提取一个字符串的全部内容；single_str:m表示提取一个字符串中头m个字节的内容；multi_str:n:m表示提取n个字符串m个字节的内容；to_str:xxx表示从Cap_Offset起一直提取到xxx字符串为止；to_end表示从Cap_Offset起一直提取到该记录类型的结束位置 |
| Value | 提取出的数据项内容经运算处理后的最终结果，采用表达式来表示，也可调用内部函数。例如对于不需要处理的被捕获的原始日志内容，在本发明中采用$cap表示。 |
| Option | 对该数据项的处理。该属性有以下几种取值选项，其中record表示从日志中提取并记录下该数据项的内容；ignore表示忽略该数据项的内容；temp表示暂时记录下该数据项的内容用于后续的处理(如在处理其它数据项时，用于运算value值)，在后续处理完成后即可删除此时所记录下的内容；缺省取值为record |
二、日志信息的自动提取
日志分析模板定义完成之后，进入日志信息的自动提取过程，具体操作流程如下：
(1)定时检测被监控目标设备或系统产生的日志文件的变化情况，根据“日志状态信息”变量的值来获取增量日志内容。
由于日志是采用不断累加的方式记录数据的，根据这一特点，在本发明中为每个目标日志定义一个“日志状态信息”变量，用于记录每次每个日志文件完成信息提取和分析的字节偏移量。一旦发现到日志文件大小发生了变化，即可根据该日志文件所对应的日志状态信息提取出该偏移量之后的增量的日志内容作为进一步的信息提取与分析处理的原始数据。
(2)读取该日志对应的日志分析模板。
(3)根据模板中定义的记录分隔标识从日志文件中获取一条记录内容。
文本日志模板中的记录分隔标识为根元素“文本日志模板”中的Record_Interval_Start属性和Record_Interval_End属性。二进制日志模板中的记录分隔标识包括根元素“二进制日志模板”中的Record_Interval_Method属性、以及子元素固定长度配置、分隔标志配置、获取长度配置中定义的属性。
(4)根据模板中“记录类型”子元素下定义的记录特征标识判断该记录的类型。
文本日志模板中的记录特征标识为“记录类型”子元素下定义的Record_Type_Search_Start_Offset属性、Record_Type_Search_Len属性、Record_Type_Match_Str属性。系统将从该记录的Record_Type_Search_Start_Offset开始，对长度为Record_Type_Search_Len的字符串进行搜索，匹配Record_Type_Match_Str定义的字符串来判断记录类型。
二进制日志模板中的记录特征标识为“记录类型”子元素下定义的Type_Flag_Offset属性、Type_Flag_Len属性、Type_Match_Value属性。系统将从该记录的Type_Flag_Offset位置开始，提取长度为Type_Flag_Len的字段内容，与Type_Match_Value进行匹配，判断记录类型。
对于未匹配成功的情况，则系统将此记录判断为不需要进行处理(在日志模板中未定义此记录类型)，系统将会丢弃该记录，转(3)。否则转(5)。
(5)根据模板中“记录类型”下各个“数据项”子元素的定义，在该记录中搜索获取对应的数据项内容，按照Value属性的取值对获取到数据项内容进行运算处理，然后按照Option属性的取值对获取到的数据项执行记录、忽略或临时记录等相应的处理，从不同日志文件中提取和记录下的日志信息分别保存在不同的记录文件中。
(6)判断该记录中的所有数据项是否处理完毕，如果判断结果为“否”，则重复第(5)步的处理转(5)；如果判断结果为“是”，转(7)。
(7)判断该日志文件中的所有增量记录是否处理完毕，如果日志文件中仍然包含没有处理过的增量记录，则转到(3)，如果日志文件中的所有增量记录全部处理完毕，则进入日志信息的分析流程。
三、日志信息的分析
(1)、定义日志分析的安全规则。
日志分析的安全规则的定义由以下几个字段组成：
规则号：用数字来区分不同的规则，是每个规则的唯一标识
优先级：用数字的大小来区分每条规则的高低优先级，数值越大优先级越高
记录类型名：表示该规则适用于哪种记录类型，该字段缺省，表示该规则适用于所有记录类型
匹配数据项名称：表示此项规则所要匹配的数据项名称
匹配值：表示此项规则所要匹配的数据项的取值
响应方式：定义对符合此项规则的响应方式
(2)获取需要分析的日志记录文件以及对应的安全规则文件。
(3)将记录文件中的信息逐条进行安全规则匹配，根据规则匹配结果判断出产生该日志的设备或系统是否存在异常情况，如果发现异常，立即生成报警记录。
(4)判断该日志记录文件是否处理完毕，如果判断结果为“否”，则重复第
(3)步的处理；如果判断结果为“是”，则判断是否还有其它日志记录文件需要进行安全分析，当所有日志记录文件全部处理完毕，则整个基于模板的异构日志信息自动提取与分析过程结束。
本发明具有实质性特点和显著进步：1)本发明提出的技术方案扩展性极强，对于不同种类的异构日志文件不用改变日志分析程序，只要为该日志定义一个新的日志分析模板即可以实现对该日志的分析与信息自动提取，因此其适用范围更为广泛；2)本发明采用XML语言定义日志分析模板，由于XML是能够自解释的语言，用户可以根据不同日志的特点自定义所需要的元素/标志，使得该模板的可读性和灵活性更强；3)本发明提出的技术方案能够将从不同类型日志文件中提取出的信息形成统一的规范化的格式，更加便于系统管理员的理解与迅速决策，非常适合大型的网络信息系统的使用。
本发明提出的技术方案能够在不改变日志分析处理程序的前提下，实现对多种类型异构的日志文件的信息自动提取与安全性分析，从而在现有日志分析工具之上提高了适用范围和应用的灵活性，有效的解决了大型网络信息系统对多种设备和系统产生的日志信息的自动分析的需求，不仅提高了对日志信息的利用率，同时也减轻了系统管理员的工作负担。
附图说明
图1日志信息的自动提取流程
图2日志信息的分析过程
具体实施方式
下面以天网防火墙日志文件和Solaris系统日志文件wtmp的为例，说明本发明提出的技术方案的具体实现方法。
实施例一：天网防火墙日志文件的信息自动提取与分析过程。
天网防火墙日志文件为文本类型，待分析日志如下所示：
[1:59:58]192.168.0.107的1294端口停止对本机发送数据，
TCP标志：FA
继续下一规则
[1:59:58]本机应答192.168.0.107的1294端口，
TCP标志：A
继续下一规则
[1:59:58]本机的Http[80]端口停止向192.168.0.107发送数据，
TCP标志：FA
继续下一规则
天网防火墙日志文件的信息自动提取与分析过程如下：
(一)定义日志分析模板
从上述信息可以看出，该日志文件包括三种记录类型，从第1行至第3行是远程主机端口停止对本机发送数据的记录，第4行至第6行是本机应答远程主机端口的记录；第7行至第9行是本机的端口停止向远程主机发送数据的记录。在每条记录中包括了事件发生的时间、事件类型标识、远程主机IP地址、远程主机端口号/本机端口号、TCP标志等数据项。根据该日志文件的结构特点，定义的文本日志分析模板如下所示：
<？xml version＝″1.0″encoding＝″iso-8859-1″？>
<文本日志模板
Template_Id＝″21″
Record_Type_Num＝″3″
Max_Record_Len＝″300″
Record_Interval_Start＝″[″
Record_Interval_End＝″继续下一规则″>
<记录类型
Record_Type_Name＝″停止对本机发送数据″
Record_Type_Search_Start_Offset＝″str:5+byte:4″
Record_Type_Search_Len＝″18″
Record_Type_Match_Str＝″停止对本机发送数据″
Option＝″record″>
<数据项
Item_Type＝″stdtime″
Item_Name＝″event_time″
Item_Search_Start_Offset＝″str:1″
Item_Match_Str＝″[″
Cap_Offset＝″″
Cap_Len＝″to_str:]″
Value＝″zone_time_to_stdtime($cap)″
Option＝″record″/>
<数据项
Item_Type＝″IP″
Item_Name＝″remote_ip″
Item_Search_Start_Offset＝″str:2″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″int″
Item_Name＝″remote_port″
Item_Search_Start_Offset＝″str:4″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″str″
Item_Name＝″TCP_Flag″
Item_Search_Start_Offset＝″str:6″
Item_Match_Str＝″TCP标志：″
Cap_Offset＝″″
Cap_Len＝″tostr:继续″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″CONST STR″
Item_Name＝″event_name″
Item_Search_Start_Offset＝″″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″远程主机停止对本机发送数据″
Option＝″record″/>
</记录类型>
<记录类型
Record_Type_Name＝″本机应答其他机器″
Record_Type_Search_Start_Offset＝″str:2″
Record_Type_Search_Len＝″8″
Record_Type_Match_Str＝″本机应答″
Option＝″record″>
<数据项
Item_Type＝″stdtime″
Item_Name＝″event_time″
Item_Search_Start_Offset＝″str:1″
Item_Match_Str＝″[″
Cap_Offset＝″″
Cap_Len＝″to_str:]″
Value＝″zone_time_to_stdtime($cap)″
Option＝″record″/>
<数据项
Item_Type＝″IP″
Item_Name＝″remote_ip″
Item_Search_Start_Offset＝″str:3″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″int″
Item_Name＝″remote_port″
Item_Search_Start_Offset＝″str:4″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″str″
Item_Name＝″TCP_Flag″
Item_Search_Start_Offset＝″str:8″
Item_Match_Str＝″TCP标志：″
Cap_Offset＝″″
Cap_Len＝″tostr:继续″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″CONST STR″
Item_Name＝″event_name″
Item_Search_Start_Offset＝″″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″本机应答其他机器″
Option＝″record″/>
</记录类型>
<记录类型>
Record_Type_Name＝″本机端口停止向远程主机发送数据″
Record_Type_Seatch_Start_Offset＝″str:4″
Record_Type_Search_Len＝″10″
Record_Type_Match_Str＝″端口停止向″
Option＝″record″>
<数据项
Item_Type＝″stdtime″
Item_Name＝″event_time″
Item_Search_Start_Offset＝″str:1″
Item_Match_Str＝″[″
Cap_Offset＝″″
Cap_Len＝″]″
Value＝″zone_time_to_stdtime($cap)″
Option＝″record″/>
<数据项
Item_Type＝″str″
Item_Name＝″local_port″
Item_Search_Start_Offset＝″str:3″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″IP″
Item_Name＝″remote_ip″
Item_Search_Start_Offset＝″str:5″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″single_str″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″str″
Item_Name＝″TCP_Flag″
Item_Search_Start_Offset＝″str:7″
Item_Match_Str＝″TCP标志：″
Cap_Offset＝″″
Cap_Len＝″tostr:继续″
Value＝″$cap″
Option＝″record″/>
<数据项
Item_Type＝″CONST STR″
Item_Name＝″event_name″
Item_Search_Start_Offset＝″″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″本机端口停止向远程主机发送数据″
Option＝″record″/>
</记录类型>
</文本日志模板>
其中zone_time_to_stdtime()是自定义的内部函数，主要作用是将从日志中提取出的时间转换成标准时间。
(二)日志信息的自动提取
1、定时检测被监控目标设备或系统产生的日志文件的变化情况，根据“日志状态信息”变量的值来获取增量日志内容。
2、读取该日志对应的日志分析模板。
3、根据模板中定义的记录分隔标识从日志文件中获取一条记录内容。根元素<文本日志模板>中定义的属性Record_Interval_Start和Record_Interval_End标识出每种类型的记录起始标识为″[″，结束标识为″继续下一规则″。
4、根据模板中“记录类型”子元素下定义的记录特征标识判断该记录的类型。在“记录类型”子元素下定义的属性Record_Type_Search_Start_Offset标识出了每个记录特征标识的位置，属性Record_Type_Search_Len标识出每个记录特征标识的长度，属性Record_Type_Match_Str标识出每个记录特征标识的匹配字符串，根据这三个属性即可判断出该记录是哪种类型。
5、根据模板中“记录类型”下各个“数据项”子元素的定义，在该记录中搜索获取对应的数据项内容。其中属性Item_Search_Start_Offset标识出了该数据项的位置，属性Item_Match_Str标识出了该数据项的匹配字符串，Cap_Len标识出了该数据项的长度，根据这三个属性的取值即可提取出每个数据项的内容。按照Value属性的取值对获取到数据项内容进行运算处理，然后按照Option属性的取值对获取到的数据项执行记录、忽略或临时记录等相应的处理，保存在记录文件中。
6、判断该记录中的所有数据项是否处理完毕，如果判断结果为“否”，则重复第5步的处理；如果判断结果为“是”，再判断该日志文件中的所有增量记录是否处理完毕。
7、如果日志文件中仍然包含没有处理过的增量记录，则转到第3步，根据记录分隔标识获取下一条记录内容进行上述第3-6步的处理；如果日志文件中的所有增量记录全部处理完毕，则进入日志信息的分析流程。
(三)日志信息的分析
1、定义日志分析的安全规则。
规则号：1；优先级：2；记录类型名：天网防火墙日志/停止对本机发送数据&天网防火墙日志/本机应答其他机器&天网防火墙日志/本机端口停止向远程主机发送数据；匹配数据项名称：event_name；匹配值：本机端口停止向远程主机发送数据；匹配数据项名称：remote_ip；匹配值：10.10.19.53；响应方式：报警
此条规则表示当在日志文件中发现本机停止向IP地址为10.10.19.53的远程主机发送数据时，立即发出报警信息。
2、获取需要分析的日志记录文件以及对应的安全规则文件。
3、将记录文件中的信息逐条进行安全规则匹配，根据规则匹配结果判断本机是否正常向10.10.19.53发送数据，如果发现停止发送数据的记录，立即生成报警记录。
4、判断该日志记录文件是否处理完毕，如果判断结果为“否”，则重复第3步的处理；如果判断结果为“是”，则整个基于模板的异构日志信息自动提取与分析过程结束。
按照上述步骤的处理，当本机停止向IP地址为10.10.19.53的远程主机发送数据时，基于模板的日志分析系统会立即发出报警信息。
实施例二：wtmp日志文件的信息自动提取与分析过程如下：
(一)定义日志分析模板
Solaris系统日志wtmp文件是用户每次登录系统和退出系统的记录信息，该文件为二进制文件，其中比较重要的数据项在wtmp文件中的格式如下：
| 字段名 | 位置(byte) | 字段长度(byte) |
| 用户名 | 0-31 | 32 |
| 记录的初始ID | 32-35 | 4 |
| 设备名称 | 36-67 | 32 |
| 进程ID | 68-71 | 4 |
| 记录类型 | 72-73 | 2 |
| 进程中止状态 | 74-75 | 2 |
| 进程退出状态 | 76-77 | 2 |
| 记录生成时间 | 78-85 | 8 |
根据该日志文件的结构特点，定义的二进制日志分析模板如下所示：
<？xml version＝″1.0″encoding＝″iso-8859-1″？>
<二进制日志模板
Template_Id＝″15″
Record_type_num＝″1″
Record_Interval_Method＝″fixed_len″>
<固定长度配置Record_Fixed_Len＝″372″/>
<记录类型
Type_Name＝″wtmp_log″
Type_Flag_Offset＝″″
Type_Flag_Len＝″″
Type_Match_Value＝″″>
<！--定义“登录/退出系统的用户名”数据项-->
<数据项
Item_Type＝″str″
Item_Name＝″User_Name″
Cap_Offset＝″byte:0″
Cap_Len＝″byte:32″
Value＝″$cap″
Option＝″record″/>
<！--定义“记录的初始ID”数据项-->
<数据项
Item_Type＝″str″
Item_Name＝″Entry_Id″
Cap_Offset＝″byte:32″
Cap_Len＝″byte:4″
Value＝″$cap″
Option＝″record″/>
<！--定义“设备名称”数据项-->
<数据项
Item_Type＝″str″
Item_Name＝″Device_Name″
Cap_Offset＝″byte:36″
Cap_Len＝″byte:32″
Value＝″$cap″
Option＝″record″/>
<！--定义“进程ID”数据项-->
<数据项
Item_Type＝″long″
Item_Name＝″Process_Id″
Cap_Offset＝″byte:68″
Cap_Len＝″byte:4″
Value＝″convert_to_int($cap)″
Option＝″record″/>
<！--定义“记录类型”数据项-->
<数据项
Item_Type＝″short″
Item_Name＝″Entry_Type″
Cap_Offset＝″byte:72″
Cap_Len＝″byte:2″
Value＝″convert_to_short($cap)″
Option＝″record″/>
<！--定义“进程中止状态”数据项-->
<数据项
Item_Type＝″short″
Item_Name＝″Process_Termination_Status″
Cap_Offset＝″byte:74″
Cap_Len＝″byte:2″
Value＝″convert_to_short($cap)″
Option＝″record″/>
<！--定义“进程退出状态”数据项-->
<数据项
Item_Type＝″short″
Item_Name＝″Process_Exit_Status″
Cap_Offset＝″byte:76″
Cap_Len＝″byte:2″
Value＝″convert_to_short($cap)″
Option＝″record″/>
<！--定义“记录生成时间”数据项-->
<数据项
Item_Type＝″long″
Item_Name＝″Entry_Time″
Cap_Offset＝″byte:78″
Cap_Len＝″byte:8″
Value＝″convert_to_int($cap)″
Option＝″temp″/>
</记录类型>
</二进制日志模板>
其中convert_to_int()和convert_to_short()是自定义的内部函数，主要作用是将从日志中提取出的内容的数据类型转换成长整型或短整型数据类型。
(二)日志信息的自动提取
1、定时检测被监控目标设备或系统产生的日志文件的变化情况，根据“日志状态信息”变量的值来获取增量日志内容。
2、读取该日志对应的日志分析模板。
3、wtmp文件只有一种记录类型，根据模板中“记录类型”下各个“数据项”子元素中定义的Cap_Offset属性的值来确定数据项在日志文件中所在的位置，再根据Cap_Len属性的值提取出每个数据项的内容，并按照Value属性的取值对获取到数据项内容进行数据类型转换处理，然后按照Option属性的取值对获取到的数据项执行记录或临时记录等相应的处理，保存到记录文件中。
4、判断该日志文件中的增量记录是否处理完毕，如果日志文件中仍然包含没有处理过的增量记录，则转到第3步处理；如果日志文件中的所有增量记录全部处理完毕，则进入日志信息的分析流程。
(三)日志信息的分析
1、定义日志分析的安全规则。
规则号：11；优先级：2；记录类型名：Solaris系统日志/wtmp；匹配数据项名称：User_Name；匹配值：xa_li；；响应方式：报警
此条规则表示当在Solaris系统的wtmp日志文件中发现用户xa_li登录系统的记录时发出报警信息。
2、获取需要分析的日志记录文件以及对应的安全规则文件。
3、将记录文件中的信息逐条进行安全规则匹配，根据规则匹配结果判断用户xa_li是否登录过系统，如果发现xa_li的登录记录，立即生成报警记录。
4、判断该日志记录文件是否处理完毕，如果判断结果为“否”，则重复第3步的处理；如果判断结果为“是”，则整个基于模板的异构日志信息自动提取与分析过程结束。
按照上述步骤的处理，当用户xa_li登录被监控系统时，基于模板的日志分析系统会立即发出报警信息。
通过以上的实施例1、2可以看出，本发明有效的解决了大型网络信息系统对多种设备和系统产生的日志信息的自动分析的需求，不仅提高了对日志信息的利用率，同时也减轻了系统管理员的工作负担。
Claims (4)
1、一种基于模板的异构日志信息自动提取与分析方法，其特征在于，根据每类日志文件的结构特点采用XML语言定义日志分析模板，在日志分析模板中为日志文件中包含的每种记录类型均定义了特征标识信息，并且还为每种记录中所包含的各个数据项也分别定义了特征标识信息，根据这些标识信息，基于模板的日志分析系统进入日志信息的自动提取过程，从日志文件中自动提取出这些数据项的值，然后进行日志信息的分析，将提取出的日志信息与对应的安全规则进行匹配，从而判断提取出的日志信息中是否反应了目标设备或系统的异常运行使用情况，每次日志分析操作完成之后，系统将记录下此次分析的日志内容的偏移字节值作为日志分析状态信息保存下来，系统将定时检测各个目标设备或系统记录的日志文件的变化情况，根据记录的日志状态信息即实现对日志增量部分的自动分析。
2、根据权利要求1所述的基于模板的异构日志信息自动提取与分析方法，其特征是，所述的定义日志分析模板，具体如下：
包括两大类的日志分析模板，分别是文本型日志分析模板和二进制日志分析模板，均采用XML描述，其中
(1)文本类型日志分析模板的定义如下：<？xml version＝″1.0″encoding＝″iso-8859-1″？><文本日志模板Template_Id＝″″Record_Type_Num＝″″Max_Record_Len＝″″Record_Interval_Start＝″″Record_Interval_End＝″″><记录类型
Record_Type_Name＝″″
Record_Type_Search_Start_Offset＝″″
Record_Type_Search_Len＝″″
Record_Type_Match_Str＝″″>
<数据项
Item_Type＝″″
Item_Name＝″″
Item_Search_Start_Offset＝″″
Item_Match_Str＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″″
Option＝″″/>
<数据项……/>
……
<数据项……/>
</记录类型>
……
<记录类型……>
<数据项……/>
……
<数据项……/>
</记录类型></文本日志模板>
(2)二进制类型日志分析模板的定义如下：<？xml version＝″1.0″encoding＝″iso-8859-1″？><二进制日志模板Template_Id＝″″Record_type_num＝″ ″Record_Interval_Method＝″″>
<固定长度配置Record_Fixed_Len＝″″/>
<分隔标志配置Record_Interval_Flag＝″″/>
<获取长度配置Offset＝″″Len＝″″/>
<记录类型
Type_Name＝″″
Type_Flag_Offset＝″″
Type_Flag_Len＝″″
Type_Match_Value＝″″>
<数据项
Item_Type＝″″
Item_Name＝″″
Cap_Offset＝″″
Cap_Len＝″″
Value＝″″
Option＝″″/>
……
<数据项……/>
</记录类型>
……
<记录类型……>
<数据项……/>
……
<数据项……/>
</记录类型></二进制日志模板>
3、根据权利要求1所述的基于模板的异构日志信息自动提取与分析方法，其特征是，所述的日志信息的自动提取，具体如下：
(1)定时检测被监控目标设备或系统产生的日志文件的变化情况，根据“日志状态信息”变量的值来获取增量日志内容：为每个目标日志定义一个“日志状态信息”变量，用于记录每次每个日志文件完成信息提取和分析的字节偏移量，一旦发现到日志文件大小发生了变化，即根据该日志文件所对应的日志状态信息提取出该偏移量之后的增量的日志内容作为进一步的信息提取与分析处理的原始数据；
(2)读取该日志对应的日志分析模板；
(3)根据模板中定义的记录分隔标识从日志文件中获取一条记录内容：文本日志模板中的记录分隔标识为根元素“文本日志模板”中的Record_Interval_Start属性和Record_Interval_End属性，二进制日志模板中的记录分隔标识包括根元素“二进制日志模板”中的Record_Interval_Method属性、以及子元素固定长度配置、分隔标志配置、获取长度配置中定义的属性；
(4)根据模板中“记录类型”子元素下定义的记录特征标识判断该记录的类型：文本日志模板中的记录特征标识为“记录类型”子元素下定义的Record_Type_Search_Start_Offset属性、Record_Type_Search_Len属性、Record_Type_Match_Str属性，系统将从该记录的Record_Type_Search_Start_Offset开始，对长度为Record_Type_Search_Len的字符串进行搜索，匹配Record_Type_Match_Str定义的字符串来判断记录类型；二进制日志模板中的记录特征标识为“记录类型”子元素下定义的Type_Flag_Offset属性、Type_Flag_Len属性、Type_Match_Value属性，系统将从该记录的Type_Flag_Offset位置开始，提取长度为Type_Flag_Len的字段内容，与Type_Match_Value进行匹配，判断记录类型；对于未匹配成功的情况，则系统将此记录判断为不需要进行处理，系统将会丢弃该记录，转(3)，否则转(5)；
(5)根据模板中“记录类型”下各个“数据项”子元素的定义，在该记录中搜索获取对应的数据项内容，按照Value属性的取值对获取到数据项内容进行运算处理，然后按照Option属性的取值对获取到的数据项执行记录、忽略或临时记录处理，从日志文件中提取和记录下的日志信息分别保存在相应的记录文件中；
(6)、判断该记录中的所有数据项是否处理完毕，如果判断结果为“否”，则重复第(5)步的处理转(5)；如果判断结果为“是”，转(7)；
(7)、判断该日志文件中的所有增量记录是否处理完毕，如果日志文件中仍然包含没有处理过的增量记录，则转到(3)，如果日志文件中的所有增量记录全部处理完毕，则进入日志信息的分析流程。
4、根据权利要求1所述的基于模板的异构日志信息自动提取与分析方法，其特征是，所述的日志信息的分析，具体如下：
(1)定义日志分析的安全规则：
规则号：用数字来区分不同的规则，是每个规则的唯一标识
优先级：用数字的大小来区分每条规则的高低优先级，数值越大优先级越高
记录类型名：表示该规则适用于哪种记录类型，该字段缺省，表示该规则适用于所有记录类型
匹配数据项名称：表示此项规则所要匹配的数据项名称
匹配值：表示此项规则所要匹配的数据项的取值
响应方式：定义对符合此项规则的响应方式
(2)获取需要分析的日志记录文件以及对应的安全规则文件；
(3)将记录文件中的信息逐条进行安全规则匹配，根据规则匹配结果判断出产生该日志的设备或系统是否存在异常情况，如果发现异常，立即生成报警记录；
(4)判断该日志记录文件是否处理完毕，如果判断结果为“否”，则重复第(3)步的处理，如果判断结果为“是”，则判断是否还有其它日志记录文件需要进行安全分析，当所有日志记录文件全部处理完毕，则整个基于模板的异构日志信息自动提取与分析过程结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100234471A CN100357900C (zh) | 2005-01-20 | 2005-01-20 | 基于模板的异构日志信息自动提取与分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100234471A CN100357900C (zh) | 2005-01-20 | 2005-01-20 | 基于模板的异构日志信息自动提取与分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1645336A true CN1645336A (zh) | 2005-07-27 |
| CN100357900C CN100357900C (zh) | 2007-12-26 |
Family
ID=34875864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100234471A Expired - Fee Related CN100357900C (zh) | 2005-01-20 | 2005-01-20 | 基于模板的异构日志信息自动提取与分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100357900C (zh) |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101394267B (zh) * | 2008-10-08 | 2011-05-11 | 北京启明星辰信息技术股份有限公司 | 基于通用范化标签语言的安全信息管理系统及方法 |
| CN101316185B (zh) * | 2007-06-01 | 2011-05-18 | 阿里巴巴集团控股有限公司 | 一种基于日志文件的分析结果定位系统资源瓶颈的方法 |
| CN102158355A (zh) * | 2011-03-11 | 2011-08-17 | 广州蓝科科技股份有限公司 | 一种可并发和断续分析的日志事件关联分析方法和装置 |
| CN102164050A (zh) * | 2011-05-16 | 2011-08-24 | 北京星网锐捷网络技术有限公司 | 日志解析方法及日志解析节点设备 |
| CN102184138A (zh) * | 2011-05-19 | 2011-09-14 | 广东威创视讯科技股份有限公司 | 一种软件错误自动重现和定位的方法及系统 |
| CN102567374A (zh) * | 2010-12-16 | 2012-07-11 | 北大方正集团有限公司 | 一种稿件校对方法及系统 |
| CN102831020A (zh) * | 2012-07-26 | 2012-12-19 | 中国科学院信息工程研究所 | 日志检测方法及系统 |
| CN101553782B (zh) * | 2006-10-03 | 2014-01-22 | 三星电子株式会社 | 用于管理可扩展标记语言文档管理服务器历史的系统和方法 |
| CN103823811A (zh) * | 2012-11-19 | 2014-05-28 | 北京百度网讯科技有限公司 | 用于处理日志的方法及其系统 |
| US8776217B2 (en) | 2006-11-03 | 2014-07-08 | Alcatel Lucent | Methods and apparatus for detecting unwanted traffic in one or more packet networks utilizing string analysis |
| CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
| CN104104734A (zh) * | 2014-08-04 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 日志分析方法和装置 |
| CN104503966A (zh) * | 2014-10-16 | 2015-04-08 | 杭州斯凯网络科技有限公司 | PostgreSQL大数据高效免维护自动分区方法 |
| CN104516970A (zh) * | 2014-12-23 | 2015-04-15 | 广州酷狗计算机科技有限公司 | 一种进行日志分析的方法和装置 |
| CN104618948A (zh) * | 2015-02-12 | 2015-05-13 | 中国联合网络通信集团有限公司 | 一种监控上传文件的方法和系统 |
| CN104717085A (zh) * | 2013-12-16 | 2015-06-17 | 中国移动通信集团湖南有限公司 | 一种日志解析方法及装置 |
| CN104811452A (zh) * | 2015-04-30 | 2015-07-29 | 北京科技大学 | 一种基于数据挖掘的自学习分级预警入侵检测系统 |
| CN104850666A (zh) * | 2015-06-15 | 2015-08-19 | 上海斐讯数据通信技术有限公司 | 一种日志文件自动分析方法 |
| CN104935444A (zh) * | 2014-03-17 | 2015-09-23 | 杭州华三通信技术有限公司 | 异构日志系统管理配置装置及方法 |
| CN104933077A (zh) * | 2014-03-20 | 2015-09-23 | 上海宝信软件股份有限公司 | 基于规则的多文件信息分析方法 |
| CN104991852A (zh) * | 2015-06-29 | 2015-10-21 | 浪潮(北京)电子信息产业有限公司 | 一种指示系统运行状态的方法和主机系统 |
| CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
| CN105207829A (zh) * | 2014-06-04 | 2015-12-30 | 腾讯科技（深圳）有限公司 | 一种入侵检测数据处理方法、装置，及系统 |
| CN105447099A (zh) * | 2015-11-11 | 2016-03-30 | 中国建设银行股份有限公司 | 日志结构化信息提取方法及装置 |
| CN105786927A (zh) * | 2014-12-26 | 2016-07-20 | 中国移动通信集团公司 | 一种日志处理方法及装置 |
| CN106030590A (zh) * | 2014-02-18 | 2016-10-12 | 皇家飞利浦有限公司 | 设备相关日志文件的有效处理 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106055450A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
| WO2016206427A1 (zh) * | 2015-06-26 | 2016-12-29 | 中兴通讯股份有限公司 | 一种日志信息检测方法及装置 |
| CN106452876A (zh) * | 2016-10-19 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种日志采集系统及方法 |
| CN106547658A (zh) * | 2016-10-28 | 2017-03-29 | 合网络技术（北京）有限公司 | 一种自动化测试方法及装置 |
| CN106776257A (zh) * | 2016-12-26 | 2017-05-31 | 中国建设银行股份有限公司 | 一种用于系统性能测试的响应时间统计方法及装置 |
| CN107209511A (zh) * | 2015-02-24 | 2017-09-26 | 东芝三菱电机产业系统株式会社 | 监视控制装置 |
| CN107291942A (zh) * | 2017-07-10 | 2017-10-24 | 国家电网公司 | 分布式日志的搜索方法和装置 |
| WO2018076739A1 (zh) * | 2016-10-26 | 2018-05-03 | 华为技术有限公司 | 一种数据处理方法以及数据处理设备 |
| CN108427626A (zh) * | 2018-01-05 | 2018-08-21 | 平安科技（深圳）有限公司 | 日志文本处理方法、装置及存储介质 |
| CN108984221A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种多平台用户行为日志的采集方法和装置 |
| CN109408330A (zh) * | 2018-10-15 | 2019-03-01 | 东软集团股份有限公司 | 日志分析方法、装置、终端设备及可读存储介质 |
| CN109460343A (zh) * | 2018-09-10 | 2019-03-12 | 平安科技（深圳）有限公司 | 基于日志的系统异常监控方法、装置、设备及存储介质 |
| CN110109809A (zh) * | 2019-04-08 | 2019-08-09 | 武汉思普崚技术有限公司 | 根据syslog测试日志审计功能的方法及设备 |
| CN110826299A (zh) * | 2019-10-25 | 2020-02-21 | 上海工业自动化仪表研究院有限公司 | 基于分类的通用模板日志解析方法 |
| CN111026730A (zh) * | 2019-12-20 | 2020-04-17 | 广东拓斯达科技股份有限公司 | 一种日志文件检测方法及装置 |
| CN113220522A (zh) * | 2021-04-09 | 2021-08-06 | 北京房江湖科技有限公司 | 服务异常自动定位方法和装置 |
| CN113553309A (zh) * | 2021-07-28 | 2021-10-26 | 恒安嘉新（北京）科技股份公司 | 一种日志模板的确定方法、装置、电子设备及存储介质 |
| CN115017268A (zh) * | 2022-08-04 | 2022-09-06 | 北京航空航天大学 | 一种基于树结构的启发式日志抽取方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101036A (ja) * | 1999-09-30 | 2001-04-13 | Hitachi Software Eng Co Ltd | ログ情報の格納及び利用方法 |
| US6738911B2 (en) * | 2001-02-02 | 2004-05-18 | Keith Hayes | Method and apparatus for providing client-based network security |
| KR20030001018A (ko) * | 2001-06-28 | 2003-01-06 | 박일남 | 웹 사이트상의 로그 관리 시스템 및 방법 |
| CN100351833C (zh) * | 2003-05-23 | 2007-11-28 | 联想(北京)有限公司 | 基于插件技术的设备日志实时解析系统及日志解析方法 |
-
2005
- 2005-01-20 CN CNB2005100234471A patent/CN100357900C/zh not_active Expired - Fee Related
Cited By (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101553782B (zh) * | 2006-10-03 | 2014-01-22 | 三星电子株式会社 | 用于管理可扩展标记语言文档管理服务器历史的系统和方法 |
| US8776217B2 (en) | 2006-11-03 | 2014-07-08 | Alcatel Lucent | Methods and apparatus for detecting unwanted traffic in one or more packet networks utilizing string analysis |
| CN101316185B (zh) * | 2007-06-01 | 2011-05-18 | 阿里巴巴集团控股有限公司 | 一种基于日志文件的分析结果定位系统资源瓶颈的方法 |
| CN101394267B (zh) * | 2008-10-08 | 2011-05-11 | 北京启明星辰信息技术股份有限公司 | 基于通用范化标签语言的安全信息管理系统及方法 |
| CN102567374A (zh) * | 2010-12-16 | 2012-07-11 | 北大方正集团有限公司 | 一种稿件校对方法及系统 |
| CN102158355B (zh) * | 2011-03-11 | 2013-08-14 | 广州蓝科科技股份有限公司 | 一种可并发和断续分析的日志事件关联分析方法和装置 |
| CN102158355A (zh) * | 2011-03-11 | 2011-08-17 | 广州蓝科科技股份有限公司 | 一种可并发和断续分析的日志事件关联分析方法和装置 |
| CN102164050A (zh) * | 2011-05-16 | 2011-08-24 | 北京星网锐捷网络技术有限公司 | 日志解析方法及日志解析节点设备 |
| CN102184138B (zh) * | 2011-05-19 | 2013-09-18 | 广东威创视讯科技股份有限公司 | 一种软件错误自动重现和定位的方法及系统 |
| CN102184138A (zh) * | 2011-05-19 | 2011-09-14 | 广东威创视讯科技股份有限公司 | 一种软件错误自动重现和定位的方法及系统 |
| CN102831020A (zh) * | 2012-07-26 | 2012-12-19 | 中国科学院信息工程研究所 | 日志检测方法及系统 |
| CN103823811A (zh) * | 2012-11-19 | 2014-05-28 | 北京百度网讯科技有限公司 | 用于处理日志的方法及其系统 |
| CN104717085B (zh) * | 2013-12-16 | 2018-05-01 | 中国移动通信集团湖南有限公司 | 一种日志解析方法及装置 |
| CN104717085A (zh) * | 2013-12-16 | 2015-06-17 | 中国移动通信集团湖南有限公司 | 一种日志解析方法及装置 |
| CN106030590A (zh) * | 2014-02-18 | 2016-10-12 | 皇家飞利浦有限公司 | 设备相关日志文件的有效处理 |
| CN104935444A (zh) * | 2014-03-17 | 2015-09-23 | 杭州华三通信技术有限公司 | 异构日志系统管理配置装置及方法 |
| CN104935444B (zh) * | 2014-03-17 | 2018-09-04 | 新华三技术有限公司 | 异构日志系统管理配置装置及方法 |
| CN104933077B (zh) * | 2014-03-20 | 2018-08-14 | 上海宝信软件股份有限公司 | 基于规则的多文件信息分析方法 |
| CN104933077A (zh) * | 2014-03-20 | 2015-09-23 | 上海宝信软件股份有限公司 | 基于规则的多文件信息分析方法 |
| CN105207829B (zh) * | 2014-06-04 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 一种入侵检测数据处理方法、装置，及系统 |
| CN105207829A (zh) * | 2014-06-04 | 2015-12-30 | 腾讯科技（深圳）有限公司 | 一种入侵检测数据处理方法、装置，及系统 |
| CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
| CN104104734A (zh) * | 2014-08-04 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 日志分析方法和装置 |
| CN104503966A (zh) * | 2014-10-16 | 2015-04-08 | 杭州斯凯网络科技有限公司 | PostgreSQL大数据高效免维护自动分区方法 |
| CN104503966B (zh) * | 2014-10-16 | 2017-12-12 | 杭州斯凯网络科技有限公司 | PostgreSQL大数据高效免维护自动分区方法 |
| CN104516970B (zh) * | 2014-12-23 | 2018-06-22 | 广州酷狗计算机科技有限公司 | 一种进行日志分析的方法和装置 |
| CN104516970A (zh) * | 2014-12-23 | 2015-04-15 | 广州酷狗计算机科技有限公司 | 一种进行日志分析的方法和装置 |
| CN105786927A (zh) * | 2014-12-26 | 2016-07-20 | 中国移动通信集团公司 | 一种日志处理方法及装置 |
| CN104618948A (zh) * | 2015-02-12 | 2015-05-13 | 中国联合网络通信集团有限公司 | 一种监控上传文件的方法和系统 |
| CN104618948B (zh) * | 2015-02-12 | 2018-09-28 | 中国联合网络通信集团有限公司 | 一种监控上传文件的方法和系统 |
| CN107209511A (zh) * | 2015-02-24 | 2017-09-26 | 东芝三菱电机产业系统株式会社 | 监视控制装置 |
| CN104811452A (zh) * | 2015-04-30 | 2015-07-29 | 北京科技大学 | 一种基于数据挖掘的自学习分级预警入侵检测系统 |
| CN104850666A (zh) * | 2015-06-15 | 2015-08-19 | 上海斐讯数据通信技术有限公司 | 一种日志文件自动分析方法 |
| WO2016206427A1 (zh) * | 2015-06-26 | 2016-12-29 | 中兴通讯股份有限公司 | 一种日志信息检测方法及装置 |
| CN104991852A (zh) * | 2015-06-29 | 2015-10-21 | 浪潮(北京)电子信息产业有限公司 | 一种指示系统运行状态的方法和主机系统 |
| CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
| CN105049247B (zh) * | 2015-07-06 | 2019-04-26 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
| CN105447099B (zh) * | 2015-11-11 | 2018-12-14 | 中国建设银行股份有限公司 | 日志结构化信息提取方法及装置 |
| CN105447099A (zh) * | 2015-11-11 | 2016-03-30 | 中国建设银行股份有限公司 | 日志结构化信息提取方法及装置 |
| CN106055450A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106055450B (zh) * | 2016-05-20 | 2019-07-02 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
| CN106452876A (zh) * | 2016-10-19 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种日志采集系统及方法 |
| WO2018076739A1 (zh) * | 2016-10-26 | 2018-05-03 | 华为技术有限公司 | 一种数据处理方法以及数据处理设备 |
| CN106547658B (zh) * | 2016-10-28 | 2020-10-27 | 阿里巴巴（中国）有限公司 | 一种自动化测试方法及装置 |
| CN106547658A (zh) * | 2016-10-28 | 2017-03-29 | 合网络技术（北京）有限公司 | 一种自动化测试方法及装置 |
| CN106776257A (zh) * | 2016-12-26 | 2017-05-31 | 中国建设银行股份有限公司 | 一种用于系统性能测试的响应时间统计方法及装置 |
| CN106776257B (zh) * | 2016-12-26 | 2020-02-07 | 中国建设银行股份有限公司 | 一种用于系统性能测试的响应时间统计方法及装置 |
| CN108984221A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种多平台用户行为日志的采集方法和装置 |
| CN107291942A (zh) * | 2017-07-10 | 2017-10-24 | 国家电网公司 | 分布式日志的搜索方法和装置 |
| CN108427626A (zh) * | 2018-01-05 | 2018-08-21 | 平安科技（深圳）有限公司 | 日志文本处理方法、装置及存储介质 |
| CN109460343A (zh) * | 2018-09-10 | 2019-03-12 | 平安科技（深圳）有限公司 | 基于日志的系统异常监控方法、装置、设备及存储介质 |
| CN109408330A (zh) * | 2018-10-15 | 2019-03-01 | 东软集团股份有限公司 | 日志分析方法、装置、终端设备及可读存储介质 |
| CN110109809A (zh) * | 2019-04-08 | 2019-08-09 | 武汉思普崚技术有限公司 | 根据syslog测试日志审计功能的方法及设备 |
| CN110826299B (zh) * | 2019-10-25 | 2023-05-23 | 上海工业自动化仪表研究院有限公司 | 基于分类的通用模板日志解析方法 |
| CN110826299A (zh) * | 2019-10-25 | 2020-02-21 | 上海工业自动化仪表研究院有限公司 | 基于分类的通用模板日志解析方法 |
| CN111026730A (zh) * | 2019-12-20 | 2020-04-17 | 广东拓斯达科技股份有限公司 | 一种日志文件检测方法及装置 |
| CN113220522A (zh) * | 2021-04-09 | 2021-08-06 | 北京房江湖科技有限公司 | 服务异常自动定位方法和装置 |
| CN113553309A (zh) * | 2021-07-28 | 2021-10-26 | 恒安嘉新（北京）科技股份公司 | 一种日志模板的确定方法、装置、电子设备及存储介质 |
| CN115017268A (zh) * | 2022-08-04 | 2022-09-06 | 北京航空航天大学 | 一种基于树结构的启发式日志抽取方法及系统 |
| CN115017268B (zh) * | 2022-08-04 | 2022-10-11 | 北京航空航天大学 | 一种基于树结构的启发式日志抽取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100357900C (zh) | 2007-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1645336A (zh) | 基于模板的异构日志信息自动提取与分析方法 | |
| CN1126053C (zh) | 文件检索方法、文件检索发送方法及装置 | |
| CN1151456C (zh) | 特征文字序列抽取及相似文书检索方法和装置 | |
| CN1280730C (zh) | 不用存储单元收集装置及不用存储单元收集方法 | |
| CN1501285A (zh) | 排版系统、排版程序和排版方法 | |
| CN1299177C (zh) | 数据管理装置、计算机系统及数据处理方法 | |
| CN1834889A (zh) | 软件认证系统和软件认证程序及软件认证方法 | |
| CN1530856A (zh) | 布局系统和布局程序以及布局方法 | |
| CN1969292A (zh) | 用户轮廓管理系统 | |
| CN1530855A (zh) | 布局系统和布局程序以及布局方法 | |
| CN1225484A (zh) | 地址识别设备和方法 | |
| CN1234906A (zh) | 微生物鉴定 | |
| CN1773407A (zh) | 信息处理装置、运行状况管理装置、信息处理方法 | |
| CN1318163A (zh) | 可选择性定义对应用程序功能部件访问的系统和方法 | |
| CN1447261A (zh) | 特定要素、字符串向量生成及相似性计算的装置、方法 | |
| CN1271564C (zh) | 信号处理设备 | |
| CN1206883A (zh) | 结构化文档检索显示方法和装置 | |
| CN1832457A (zh) | 数据包通信装置及功能扩展方法 | |
| CN1453687A (zh) | 通信装置及系统、插入模块控制方法及记录媒体 | |
| CN1813252A (zh) | 信息处理方法、信息处理程序、信息处理装置及摇控器 | |
| CN1801183A (zh) | 信息处理装置和方法以及程序 | |
| CN1934570A (zh) | 文本挖掘装置和其方法以及程序 | |
| CN1763712A (zh) | 动态确定对网络主页gui环境中选定项执行的动作的方法 | |
| CN1776621A (zh) | 程序变换方法 | |
| CN1218244C (zh) | 调节规则生成方法和调节规则生成设备以及调节方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071226 Termination date: 20130120 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |