CN115658637A - 日志范式化处理方法、装置、存储介质及处理器 - Google Patents
日志范式化处理方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN115658637A CN115658637A CN202211672908.8A CN202211672908A CN115658637A CN 115658637 A CN115658637 A CN 115658637A CN 202211672908 A CN202211672908 A CN 202211672908A CN 115658637 A CN115658637 A CN 115658637A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- network
- sample data
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000010606 normalization Methods 0.000 title claims description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000007405 data analysis Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 33
- 238000012216 screening Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 74
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002688 persistence Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供一种日志范式化处理方法、装置、存储介质及处理器，属于计算机技术领域。所述方法包括：获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据；基于所述数据格式，确定与所述数据格式对应的数据解析规则；获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的网络设备的第二网络资产日志数据；基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；基于预设的入库表结构存储所述解析日志数据。所述方法实现了对异构网络日志数据的范式化存储。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种日志范式化处理方法、一种日志范式化处理装置、一种机器可读存储介质及一种处理器。
背景技术
随着网络规模的不断扩大，网络中的设备数量和服务类型也越来越多，网络中的关键设备和服务产生了大量的日志信息，如何处理这些日志信息，实现日志信息的集中存储、范式化存储和有效分析，挖掘出有效信息为网络管理和网络安全服务提供支撑变得尤为重要。
在越来越复杂的网络环境中，目前日志管理还存在如下问题：日志凌乱的散落在网络中的各个设备上，发生在网络不同部分的安全事件无法关联起来；随着网络攻击技术的不断发展，系统本地的日志非常容易被篡改用来消除各种非法入侵行为痕迹；随着事件和容量的变化，日志数据常常被自动删除或者覆盖，无法通过长期的日志数据挖掘形成用户行为统计；发生在网络防御设备，如IDS、防火墙等在遭遇攻击时会产生海量日志数据，以至于无法发现重要的安全事件。由于不同的网络设备在日志传输和生成时有一定的差异性，目前市面上的范式化程度都做的不够彻底，在分析和使用方面具有一定的局限性。
发明内容
本申请实施例的目的是提供一种日志范式化处理方法、装置、存储介质及处理器，用以实现对异构网络日志数据的范式化存储。
为了实现上述目的，本申请第一方面提供一种日志范式化处理方法，所述方法包括：
获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据；
基于所述数据格式，确定与所述数据格式对应的数据解析规则；
获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的网络设备的第二网络资产日志数据；
基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；
基于预设的入库表结构存储所述解析日志数据。
在本申请实施例中，所述基于数据解析规则对所述第二样本数据进行解析，获得解析日志数据，包括：
对所述第二样本数据进行初始化提取处理，获得初始化日志数据；
对所述初始化日志数据进行特征提取处理，获得特征化日志数据；
对所述特征化日志数据进行丰富化处理，获得解析日志数据。
在本申请实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用正则解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在本申请实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用JSON解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在本申请实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用动态脚本解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在本申请实施例中，所述对特征化日志数据进行丰富化处理，获得解析日志数据，包括：
对所述特征化日志数据进行筛选、转换和拓展处理，获得解析日志数据。
在本申请实施例中，所述获取第二样本数据，包括：
通过FTP或NetFlow或SNMP Trap或Syslog获取网络环境中的各种网络设备的第二网络资产日志数据；其中，所述网络设备包括：交换机、防火墙、操作系统、路由器、IDS和LAS中的一种或多种。
本申请第二方面提供一种日志范式化处理装置，所述装置包括：
第一获取模块，用于获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的各种网络设备的第一网络资产日志数据；
确定模块，用于基于所述数据格式，确定与所述数据格式对应的数据解析规则；
第二获取模块，用于获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的各种网络设备的第二网络资产日志数据；
解析模块，用于基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；
存储模块，用于基于预设的入库表结构存储所述解析日志数据。
本申请第三方面提供一种处理器，被配置成执行上述的一种日志范式化处理方法。
本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的一种日志范式化处理方法。
与现有技术相比，本发明的上述技术方案具有如下有益效果：
本申请提供一种日志范式化处理方法、装置、存储介质及处理器，所述方法实现了对异构网络日志数据的范式化存储。所述方法适用于各种需要结构化存储并且展示异构数据的场景。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的日志范式化处理方法的流程示意图；
图2示意性示出了根据本申请实施例的日志范式化处理方法的总体流程设计图；
图3示意性示出了根据本申请实施例的解析规则编辑页面示意图；
图4示意性示出了根据本申请实施例的日志规则解析流程图；
图5示意性示出了根据本申请实施例的日志范式化处理装置的结构框图；
图6示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
在复杂的网络环境中，开发和部署一套能够将分布在在网络中的不同的组网设备以及业务应用系统的异构日志信息统一采集和范式化的系统，就能够使得网络管理员比较方面、容易地将运营系统各个环节的相关日志数据和安全性有效关联起来，快速发现网络的异常行为，为管理员提供一种快速评价网络安全运行状态的工具。
本实施例可以将不同的网络资产设备按照不同的角度进行特性化的存取，可以打通多种不同资产设备在细节上的差异性，将同一(不同)的样本进行统一的采集、范式化和存储。在打破“数据孤岛”的同时，提供数据在不同类型、不同维度上的呈现效果，为下游的有效分析和数据的使用提供支撑。
本实施例能够有效的收集和分析来自异构服务器、不同供应商提供的网络设备、不同的业务系统等的安全日志数据，并对采集到的日志聚合后进行范式化的存储，通过对不同的网络设备的数据交叉对比和分析，能够对安全态势进行分析、汇总和告警，使网络管理员能够有效识别网络环境中潜在的异常行为。范式化指的是将无特定结构的数据转换为具有特定结构的数据的过程。本实施例通过对所述网络日志数据进行字段提取、转换和拓展，获得具有特定结构的范式化网络日志数据。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的日志范式化处理方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种日志范式化处理方法，包括以下步骤：
步骤110，获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据。第一网络资产日志数据指的是接入方提供的样本网络资产日志数据。
在本实施例中，第一样本数据来源于接入方提供的样本数据，包括网络环境中的网络设备的网络日志数据，第一样本数据用于确定网络日志数据的数据格式。网络环境中的各种网络设备包括：交换机、防火墙、操作系统、路由器、IDS和LAS等。
步骤120，基于所述数据格式，确定与所述数据格式对应的数据解析规则。
在本实施例中，由于网络资产日志数据来自于各种不同的网络设备，因此，网络资产日志数据具有不同的数据格式，不同数据格式的网络资产日志数据需要采用不同的数据解析规则对其进行解析。
步骤130，获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的各种网络设备的第二网络资产日志数据。
在本实施例中，第二样本数据指的是需要正式接入的样本数，第二网络资产日志数据指的是网络安全设备或者网络设备发给我们的原始日志。
在本实施例中，可以通过FTP或NetFlow或SNMP Trap或Syslog获取网络环境中的各种网络设备的网络日志数据；其中，网络设备包括：交换机、防火墙、操作系统、路由器、IDS和LAS中的一种或多种。
IDS入侵检测系统（intrusion detection system，简称“IDS”）是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。它与其他网络安全设备的不同之处便在于，IDS是一种积极主动的安全防护技术。
LAS日志审计系统(Log Audit System)是用于全面收集企业IT系统中常见的安全设备、网络设备、数据库、服务器、应用系统、主机等设备所产生的日志（包括运行、告警、操作、消息、状态等）并进行存储、监控、审计、分析、报警、响应和报告的系统。
步骤140，基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据。
在本实施例中，所述基于数据解析规则对所述第二样本数据进行解析包括：对所述第二样本数据进行初始化提取处理、特征提取处理以及丰富化处理。
在本实施例中，对第二样本数据进行初始化提取处理可以采用正则解析方法对所述第二样本数据进行初始化提取处理、JSON解析方法对所述第二样本数据进行初始化提取处理、动态脚本解析方法对所述第二样本数据进行初始化提取处理中的一种或多种。
在本实施例中，JSON解析方法适用于对一些数据格式为json的网络资产日志数据进行快速的提取，JSON解析方法的优点：提取速度快，提取格式明确。
在本实施例中，可以采用正则解析方法对数据的样本格式进行快速解析，正则解析方法的优点：适应性好，基本上可以解析任何格式的数据，对格式无要求。
在本实施例中，还可以通过动态执行的脚本(泛指编程语言的代码)实现对特征样本数据的提取，动态脚本解析方法的优点：提取灵活，任何格式数据均可以通过编写动态脚本进行提取。
在本实施例中，所述对特征化日志数据进行丰富化处理，包括：对特征化日志数据进行筛选、转换和拓展处理。示例性地，可以根据配置的筛选规则对日志数据进行筛选，以过滤掉不符合规则的日志数据。再基于筛选出的日志数据，对需要进行转换和翻译的字段进行转换和翻译。最后对需要拓展的字段基于样本数据的特征字段进行拓展。
步骤150，基于预设的入库表结构存储所述解析日志数据。
在本实施例中，还包括配置入库表结构，用以存储所述解析日志数据。配置入库表结构包括：配置解析日志数据需要存储的字段的相关信息，所述相关信息包括：存储结构、存储类型、字段的名称和字段的类型。本实施例依赖于入库表配置模块的配置(数据存储的类型、存储结构、存储的字段的名称和字段的类型)，将丰富化之后的数据和入库表的对应类型和映射，并且对数据进行持久化操作，通过入库表的配置下发DDL语言实现对数据库的范式化存储要求。
所述方法还包采用日志检索方法对结构化存储的解析日志数据进行检索并按照预设方式展示检索结果。在本实施例中，可以根据不同的范式化技术和类型，对范式化之后的数据进行结构化的存储，并且在需要检索展示的时候，可以根据不同的存储类型和存储的字段进行展示。
在本实施例中，可以按照不同的入库表维度，展示检索结果。例如：可以根据不同的数据类型进行展示，即根据存储的表名称进行动态的切换和展示。
图1为一个实施例中日志范式化处理方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种日志范式化处理装置，包括：第一获取模块210、确定模块220、第二获取模块230、解析模块240以及存储模块250，其中：
第一获取模块210，用于获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据；
确定模块220，用于基于所述数据格式，确定与所述数据格式对应的数据解析规则；
第二获取模块230，用于获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的网络设备的第二网络资产日志数据；
解析模块240，用于基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；
存储模块250，用于基于预设的入库表结构存储所述解析日志数据。
在一个实施例中，如图2所示，第二获取模块230，即图2中的采集探针配置模块，采集探针配置模块主要实现对需要采集分析的日志对象进行数据库化管理和配置。系统以关系型数据库为后台数据存储库，并且通过Cache Aside模式将配置数据缓存起来，通过配置页面实现对日志采集对象的增加、删除、修改操作，该数据库结构包含日志采集对象的IP地址、设备名称、采集日志类型、采集方式等。
根据功能模块设计，采集探针配置模块能够收集来自于网络环境中的各种设备(Windows、Linux等操作系统、IDS、防火墙、路由器等网络设备)的日志数据，并将采集到的网络日志数据发送到解析模块240进行日志结构化提取和范式化操作。采集探针配置模块包含的采集日志数据的方式有FTP、NetFlow、SNMP Trap、Syslog等，能够兼容多种不同的数据源的采集需求。本实施例将通过Syslog接收日志的采集方式讲解日志的采集和范式化的过程。在采集探针配置模块接入数据的数据源进行权限管理，即需要对能够发送数据的数据源进行管理，本实施例采用探针管理模块联动服务器的防火墙策略进行对采集数据的源进行权限管理。
如图2所示，范式化模块，是整个方案的执行点，通过范式化模块串联整个流程，通过大数据技术手段进行日志的接收、提取、匹配和分发，然后进行入库，在当前的方案中一些主流的处理引擎包括Spark streaming、Flink等流处理框架。其中，范式化模块，包括：解析模块240、入库表配置模块和存储模块250。
在一个实施例中，如图2所示，入库表配置模块主要实现对从解析模块240解析来的数据和入库表结构进行映射关联和对结构化存储的表进行管理。系统也是通过关系型数据库为后台数据存储库并且将数据刷新到缓存中，通过共享缓存的方式与数据解析和入库流程进行进程间通信。根据功能模块设计，入库表配置模块能够通过配置入库表字段对来自不同网络设备的异构数据进行结构化的存储，需要配置的结构化字段属性包括：字段的顺序号、字段名称、字段中文名、字段类型、字段是否页面上展示等。并且可以通过设置规则开启状态和是否可被查询，控制页面检索的可见性。入库表配置模块在数据持久化的时候，保证了持久化源的多样性。通过配置持久化源的类型，实现入库表规则在不同的持久化源中维护不同的表结构，做到了数据库无关性。
如图2所示，范式化模块，起到了“承上启下”的作用，向上对接采集探针配置模块上报的探针类型和日志类型，向下输出通过日志解析规则进行提取和丰富化之后的数据到入库表规则匹配流程。如图3所示，在该模块可以通过配置解析规则和日志的对应关系，可视化的对日志原文解析后的效果进行查看。范式化模块的处理流程如图4所示，包括探针匹配、规则匹配、字段抽取、字段转换、字段丰富化和特征匹配。特征匹配指的是根据数据的特征进行不同的持久化存储，即对数据提取完成并且丰富化之后，分发到不同的(数据库)进行持久化存储。
本实施例提供的日志范式化处理装置，通过采集探针配置模块和日志解析规则模块的联动，可以进行快速的进行日志接入和规则提取能力，并且联动防火墙实现对数据源接入的ACL操作。
本实施例提供的日志范式化处理装置，通过日志解析规则模块和入库表配置模块的关联，实现了对异构数据的结构化提取和存储能力，并且通过预置不同的数据库源结合入库表的配置实现了数据库的无关性，能够最大程度的保证业务系统的兼容性。
本实施例提供的日志范式化处理装置，通过入库表配置模块和日志检索模块的联动，可以在查询列表上动态的切换想要查看的数据，并且根据不同的日志类型差异性的展示不同的字段列表，并且通过内置的DSL语句可以实现对全字段的快速检索。
所述日志范式化处理装置包括处理器和存储器，上述第一获取模块210、确定模块220、第二获取模块230、解析模块240和存储模块250等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现日志范式化处理方法。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述日志范式化处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器（图中未示出）。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现一种日志范式化处理方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的日志范式化处理装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该日志范式化处理装置的各个程序模块，比如，图5所示的第一获取模块210、确定模块220、第二获取模块230、解析模块240和存储模块250。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的日志范式化处理方法中的步骤。
图6所示的计算机设备可以通过如图5所示的日志范式化处理装置中的第一获取模块210执行步骤110。计算机设备可通过确定模块220执行步骤120。计算机设备可通过第二获取模块230执行步骤130。计算机设备可通过解析模块240执行步骤140。计算机设备可通过存储模块250执行步骤150。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
步骤110，获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的各种网络设备的第一网络资产日志数据。
步骤120，基于所述数据格式，确定与所述数据格式对应的数据解析规则。
步骤130，获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的各种网络设备的第二网络资产日志数据。
步骤140，基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据。
步骤150，基于预设的入库表结构存储所述解析日志数据。
在一个实施例中，所述基于数据解析规则对所述第二样本数据进行解析，获得解析日志数据，包括：
对所述第二样本数据进行初始化提取处理，获得初始化日志数据；
对所述初始化日志数据进行特征提取处理，获得特征化日志数据；
对所述特征化日志数据进行丰富化处理，获得解析日志数据。
在一个实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：采用正则解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在一个实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：采用JSON解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在一个实施例中，所述对第二样本数据进行初始化提取处理，获得初始化日志数据，包括：采用动态脚本解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
在一个实施例中，所述对特征化日志数据进行丰富化处理，获得解析日志数据，包括：对所述特征化日志数据进行筛选、转换和拓展处理，获得解析日志数据。
在一个实施例中，所述获取第二样本数据，包括：通过FTP或NetFlow或SNMP Trap或Syslog获取网络环境中的各种网络设备的第二网络资产日志数据；其中，网络设备包括：交换机、防火墙、操作系统、路由器、IDS和LAS中的一种或多种。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种日志范式化处理方法，其特征在于，所述方法包括：
获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据；
基于所述数据格式，确定与所述数据格式对应的数据解析规则；
获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的网络设备的第二网络资产日志数据；
基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；
基于预设的入库表结构存储所述解析日志数据。
2.根据权利要求1所述的方法，其特征在于，所述基于数据解析规则对所述第二样本数据进行解析，获得解析日志数据，包括：
对所述第二样本数据进行初始化提取处理，获得初始化日志数据；
对所述初始化日志数据进行特征提取处理，获得特征化日志数据；
对所述特征化日志数据进行丰富化处理，获得解析日志数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用正则解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
4.根据权利要求2所述的方法，其特征在于，所述对所述第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用JSON解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
5.根据权利要求2所述的方法，其特征在于，所述对所述第二样本数据进行初始化提取处理，获得初始化日志数据，包括：
采用动态脚本解析方法对所述第二样本数据进行初始化提取处理，获得初始化日志数据。
6.根据权利要求2所述的方法，其特征在于，所述对所述特征化日志数据进行丰富化处理，获得解析日志数据，包括：
对所述特征化日志数据进行筛选、转换和拓展处理，获得解析日志数据。
7.根据权利要求1所述的方法，其特征在于，所述获取第二样本数据，包括：
通过FTP或NetFlow或SNMP Trap或Syslog获取网络环境中的网络设备的第二网络资产日志数据；其中，所述网络设备包括：交换机、防火墙、操作系统、路由器、IDS和LAS中的一种或多种。
8.一种日志范式化处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一样本数据，并确定所述第一样本数据的数据格式；其中，所述第一样本数据，包括：来源于网络环境中的网络设备的第一网络资产日志数据；
确定模块，用于基于所述数据格式，确定与所述数据格式对应的数据解析规则；
第二获取模块，用于获取第二样本数据，其中，所述第二样本数据包括：来源于网络环境中的网络设备的第二网络资产日志数据；
解析模块，用于基于所述数据解析规则对所述第二样本数据进行解析，获得解析日志数据；
存储模块，用于基于预设的入库表结构存储所述解析日志数据。
9.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任一项所述的日志范式化处理方法。
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至7中任一项所述的日志范式化处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211672908.8A CN115658637A (zh) | 2022-12-26 | 2022-12-26 | 日志范式化处理方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211672908.8A CN115658637A (zh) | 2022-12-26 | 2022-12-26 | 日志范式化处理方法、装置、存储介质及处理器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115658637A true CN115658637A (zh) | 2023-01-31 |
Family
ID=85023326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211672908.8A Pending CN115658637A (zh) | 2022-12-26 | 2022-12-26 | 日志范式化处理方法、装置、存储介质及处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115658637A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103731298A (zh) * | 2013-11-15 | 2014-04-16 | 中国航天科工集团第二研究院七〇六所 | 一种大规模分布式网络安全数据采集方法与系统 |
| CN107147639A (zh) * | 2017-05-08 | 2017-09-08 | 国家电网公司 | 一种基于复杂事件处理的实时安全预警方法 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| US20190130009A1 (en) * | 2017-10-31 | 2019-05-02 | Secureworks Corp. | Adaptive parsing and normalizing of logs at mssp |
| CN109768623A (zh) * | 2019-02-02 | 2019-05-17 | 鼎信信息科技有限责任公司 | 电力系统的监控方法、装置、计算机设备和存储介质 |
| CN112565232A (zh) * | 2020-11-30 | 2021-03-26 | 国网江苏省电力有限公司检修分公司 | 一种基于模板和流量状态的日志解析方法及系统 |
| CN113220539A (zh) * | 2021-06-04 | 2021-08-06 | 北京伟途信息技术有限公司 | 一种安全态势感知多源数据可视化分析智能检测系统 |
| CN113676464A (zh) * | 2021-08-09 | 2021-11-19 | 国家电网有限公司 | 一种基于大数据分析技术的网络安全日志告警处理方法 |
| CN114205143A (zh) * | 2021-12-09 | 2022-03-18 | 国家电网有限公司信息通信分公司 | 一种面向异构安全设备的智能化协同防御的方法及系统 |
-
2022
- 2022-12-26 CN CN202211672908.8A patent/CN115658637A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103731298A (zh) * | 2013-11-15 | 2014-04-16 | 中国航天科工集团第二研究院七〇六所 | 一种大规模分布式网络安全数据采集方法与系统 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| CN107147639A (zh) * | 2017-05-08 | 2017-09-08 | 国家电网公司 | 一种基于复杂事件处理的实时安全预警方法 |
| US20190130009A1 (en) * | 2017-10-31 | 2019-05-02 | Secureworks Corp. | Adaptive parsing and normalizing of logs at mssp |
| CN109768623A (zh) * | 2019-02-02 | 2019-05-17 | 鼎信信息科技有限责任公司 | 电力系统的监控方法、装置、计算机设备和存储介质 |
| CN112565232A (zh) * | 2020-11-30 | 2021-03-26 | 国网江苏省电力有限公司检修分公司 | 一种基于模板和流量状态的日志解析方法及系统 |
| CN113220539A (zh) * | 2021-06-04 | 2021-08-06 | 北京伟途信息技术有限公司 | 一种安全态势感知多源数据可视化分析智能检测系统 |
| CN113676464A (zh) * | 2021-08-09 | 2021-11-19 | 国家电网有限公司 | 一种基于大数据分析技术的网络安全日志告警处理方法 |
| CN114205143A (zh) * | 2021-12-09 | 2022-03-18 | 国家电网有限公司信息通信分公司 | 一种面向异构安全设备的智能化协同防御的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11343268B2 (en) | Detection of network anomalies based on relationship graphs | |
| US11196756B2 (en) | Identifying notable events based on execution of correlation searches | |
| US10122575B2 (en) | Log collection, structuring and processing | |
| CA3028273C (en) | Cybersecurity system | |
| US9071637B2 (en) | Automated security analytics platform | |
| Kumar et al. | Signature based intrusion detection system using SNORT | |
| US10200388B2 (en) | Automated security analytics platform with multi-level representation conversion for space efficiency and incremental persistence | |
| US20110314148A1 (en) | Log collection, structuring and processing | |
| US8984633B2 (en) | Automated security analytics platform with visualization agnostic selection linked portlets | |
| US20120246303A1 (en) | Log collection, structuring and processing | |
| US9876813B2 (en) | System and method for web-based log analysis | |
| KR102033169B1 (ko) | 지능형 보안로그 분석방법 | |
| WO2013074115A1 (en) | Query summary generation using row-column data storage | |
| US8973132B2 (en) | Automated security analytics platform with pluggable data collection and analysis modules | |
| CN110620690A (zh) | 一种网络攻击事件的处理方法及其电子设备 | |
| Mulyadi et al. | Implementing dockerized elastic stack for security information and event management | |
| CN112714118B (zh) | 网络流量检测方法和装置 | |
| CN116894019A (zh) | 事件数据处理 | |
| CN115658637A (zh) | 日志范式化处理方法、装置、存储介质及处理器 | |
| CN112347066B (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
| Barać | Integrated proactive forensics model in network information security | |
| Fatemi | Threat-hunting in Windows environment using host-based log data | |
| CN117978450A (zh) | 一种安全检测方法、装置、设备及存储介质 | |
| Son et al. | Network traffic and security event collecting system | |
| CN115811468A (zh) | 流量采集策略的分配方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230131 |