CN116455678B - 网络安全日志汇接方法及系统 - Google Patents

网络安全日志汇接方法及系统 Download PDF

Info

Publication number
CN116455678B
CN116455678B CN202310712778.4A CN202310712778A CN116455678B CN 116455678 B CN116455678 B CN 116455678B CN 202310712778 A CN202310712778 A CN 202310712778A CN 116455678 B CN116455678 B CN 116455678B
Authority
CN
China
Prior art keywords
network security
log information
security log
reading
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310712778.4A
Other languages
English (en)
Other versions
CN116455678A (zh
Inventor
吕昊
袁士君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202310712778.4A priority Critical patent/CN116455678B/zh
Publication of CN116455678A publication Critical patent/CN116455678A/zh
Application granted granted Critical
Publication of CN116455678B publication Critical patent/CN116455678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种网络安全日志汇接方法及系统，属于网络安全技术领域，该方法包括：定义读取适配器、网络安全日志信息读取策略以及处理策略；采用多个数据读取集群读取多源异构网络安全日志信息；对读取的网络安全日志信息进行粗分处理；对粗分处理结果进行深度处理；对深度处理结果进行存储。本申请提供的方法及系统，实现了对于网络安全日志信息全接入、处理、汇聚流程的统一配置和管理，在数据源发生变化的情况下，可以很方便地对相关配置信息进行修改；通过对多源异构网络安全日志信息进行统一读取、粗分处理，提高了后续数据处理的效率，保证数据接入的及时性；通过对粗分处理结果进行深度处理，实现了网络安全日志的深度解析和口径统一。

Description

网络安全日志汇接方法及系统
技术领域
本发明涉及网络安全技术领域，尤其涉及一种网络安全日志汇接方法及系统。
背景技术
在网络安全领域，防火墙、IPS/IDS等网络安全设备在对接入网络流量分析时，根据设备中安全检测规则的配置，对网络流量进行前置分析，发现流量中可能存在的网络攻击行为、异常登陆行为、网络入侵行为等行为后，会通过设备自有的安全日志功能记录下这些行为，生成相关的告警信息、流信息、应用信息、报文信息、附件信息等，供后端日志审计系统、态势分析系统查询、分析、取证使用。
在防火墙、IPS/IDS等设备中，网络安全日志从输出方式上通常有以下几种：输出到Syslog、输出到Redis、输出到日志文件，其中输出到日志文件的形式较为常见，从输出内容分类上看网络安全日志又分为：告警日志、报文日志、关联流日志、应用元数据日志等，从信息格式上又分为：标准的Json格式、不标准的CSV格式、Json+CSV混合形式，设备生成的每条安全日志都会在日志文件中增加一条信息，或产生一个日志文件。
然而，由于网络安全日志在信息格式上存在差异，而且不同的网络安全设备厂商，根据自身技术能力制定了不同的网络安全日志标准，当作为用户采购多家厂商、多类型安全设备后，则面临网络安全日志信息如何统一采集、统一分类、统一格式以及统一内容提取等一系列问题。
发明内容
本发明意在提供一种网络安全日志汇接方法及系统，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明提供的网络安全日志汇接方法，包括：
对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略；
根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息；
对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息；
根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息；
对不同类别的标准化网络安全日志信息进行存储。
在上述方案中，所述读取适配器包括通用安全日志适配器和专用安全日志适配器。
在上述方案中，对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器包括：
在通用安全日志适配器可支持网络安全日志信息时，定义通用安全日志适配器为读取适配器；
在通用安全日志适配器不支持网络安全日志信息时，通过在所述通用安全日志适配器上加载以及定义模板形成专用安全日志适配器，定义专用安全日志适配器为读取适配器。
在上述方案中，定义模板包括定义准备接入的网络安全日志信息的关键词、定义准备接入的网络安全日志信息的分隔符、定义准备接入的网络安全日志信息的内容字段中的字段顺序规则。
在上述方案中，所述数据读取集群采用管理节点-工作节点的架构读取多源异构网络安全日志信息，所述管理节点用于管理工作节点以及所述数据读取集群的状态，所述工作节点作为数据读取节点，其中，所述管理节点根据网络安全日志信息的读取策略分配读取多源异构网络安全日志信息需要的工作节点。
在上述方案中，所述初步解析结果包括：读取的网络安全日志信息中的源IP、目的IP、时间、日志类型、报警级别以及源设备类型。
在上述方案中，所述根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息包括：
通过设定的时间窗口获取不同类别的网络安全日志信息，对获取的不同类别的网络安全日志信息进行去重处理；
对经过去重处理的网络安全日志信息根据日期、时间、所在设备名称、所在设备类型、源IP地址以及目的IP地址进行表示口径的统一；
对经过去重处理的网络安全日志信息根据不同厂商设备产生的安全日志中包括报警级别、报警类型以及日志编码的专用字典字段进行表示口径的统一；
判断经过表示口径的统一后的网络安全日志信息中是否存在异常异常数据，根据判断结果去除异常数据；
将去除异常数据后的网络安全日志信息分发至多个数据库中。
本发明提供的网络安全日志汇接系统，采用如上所述的网络安全日志汇接方法进行网络安全日志汇接，包括：
元数据管理模块，用于对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略；
数据采集模块，用于根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息，并对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息；
数据处理模块，用于根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息；
数据存储模块，用于对不同类别的标准化网络安全日志信息进行存储。
在上述方案中，网络安全日志信息的处理策略包括：去重策略、格式转换策略、字典转换策略、校验策略和分发策略。
在上述方案中，根据网络安全日志信息所在源设备的数量以及网络安全日志信息的规模调整所述数据读取集群的数量。
本发明实施例包括以下优点：
本发明实施例提供的网络安全日志汇接方法及系统，通过对网络安全日志信息读取策略和处理策略的设定，不仅实现了对于网络安全日志信息全接入、处理、汇聚流程的统一配置和管理，而且在数据源发生变化的情况下，可以很方便地对相关配置信息进行修改，以适应各种应用环境的变化；通过对多源异构网络安全日志信息进行统一读取，读取后进行粗分处理，实现多源异构网络安全日志信息的分类处理，提高了后续数据处理的效率，保证数据接入的及时性；通过对粗分后的不同类别的网络安全日志信息进行深度处理，实现了网络安全日志的深度解析和口径统一。
附图说明
图1是本发明的一种网络安全日志汇接方法的步骤图。
图2是本发明的对网络安全日志信息进行深度处理的步骤图。
图3是本发明的网络安全日志汇接系统的组成示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提供一种网络安全日志汇接方法，包括：
步骤S1：对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略。
具体地，所述读取适配器包括通用安全日志适配器和专用安全日志适配器，所述通用安全日志适配器是指具备Json格式解析能力，并按照《RFC 3164TheBSDsyslogProtocol》和《RFC 5424 TheSyslogProtocol》标准进行解析的读取适配器；所述专用安全日志适配器是指针对某公司某种特定安全设备输出日志格式定制的读取适配器。
具体地，在通用安全日志适配器可支持网络安全日志信息时，定义通用安全日志适配器为读取适配器；在通用安全日志适配器不支持网络安全日志信息时，通过在所述通用安全日志适配器上加载以及定义模板形成专用安全日志适配器，定义专用安全日志适配器为读取适配器，其中，在所述通用安全日志适配器上加载模板包括：在通用安全日志适配器的基础上加载XML模板；在所述通用安全日志适配器上定义模板包括：定义准备接入的网络安全日志信息的关键词、定义准备接入的网络安全日志信息的分隔符、定义准备接入的网络安全日志信息的内容字段中的字段顺序规则。
具体地，网络安全日志信息的处理策略包括：去重策略、格式转换策略、字典转换策略、校验策略和分发策略。
步骤S2：根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息。
具体地，多源异构网络安全日志信息包括不同厂商、不同设备产生的多种类型的网络安全日志信息，多源异构网络安全日志信息对应的数据源包括：A公司的IPS/IDS设备、SCM/SAS设备、SG设备、WAF设备，B公司的IPS/IDS设备，C公司的SCM/SAS设备，D公司的SG设备等；多源异构网络安全日志信息对应的获取方式有：接口形式接收各类网络安全日志消息、读取网络安全日志文件、读取Redis中网络安全日志信息、其他方式获取网络安全日志信息等。
具体地，由于在担负着大量网络安全日志信息的读取的工作时，单节点处理通常很难满足实际需求，从而采用多个数据读取集群读取多源异构网络安全日志信息，多个数据读取集群可以按照多种方式来划分，比如按照网络安全日志信息的源设备类型划分、按照源设备厂家来划分、按照适用的读取适配器来划分等等，对此可以根据实际应用需要来确定，所述数据读取集群采用管理节点-工作节点的架构读取多源异构网络安全日志信息，所述管理节点用于管理工作节点以及所述数据读取集群的状态，所述工作节点作为数据读取节点，其中，所述管理节点根据网络安全日志信息的读取策略分配读取多源异构网络安全日志信息需要的工作节点。
具体地，根据网络安全日志信息所在源设备的数量以及网络安全日志信息的规模调整所述数据读取集群的数量，通过多个数据读取集群的工作，可以针对大规模多源异构网络安全日志信息实现更规范、更有条理的采集管理。
具体地，每个数据读取节点具备全部的网络安全日志信息的读取能力，通过管理节点根据网络安全日志信息的读取策略分配读取多源异构网络安全日志信息需要的数据读取节点，当由读取节点出现异常宕机或掉线时，管理节点可根据情况随时调整数据读取节点工作，保证不会因为某个数据读取节点问题，导致整个数据采集服务不可用。
步骤S3：对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息。
具体地，所述初步解析结果包括：读取的网络安全日志信息中的源IP、目的IP、时间、日志类型、报警级别以及源设备类型。
具体地，通过步骤S3能够避免网络安全日志的源设备类型不同带来的影响。
步骤S4：根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息。
如图2所示，步骤S4包括：
步骤S41：通过设定的时间窗口获取不同类别的网络安全日志信息，对获取的不同类别的网络安全日志信息进行去重处理；
步骤S42：对经过去重处理的网络安全日志信息根据日期、时间、所在设备名称、所在设备类型、源IP地址以及目的IP地址进行表示口径的统一；
步骤S43：对经过去重处理的网络安全日志信息根据不同厂商设备产生的安全日志中包括报警级别、报警类型以及日志编码的专用字典字段进行表示口径的统一；
步骤S44：判断经过表示口径的统一后的网络安全日志信息中是否存在异常异常数据，根据判断结果去除异常数据；
步骤S45：将去除异常数据后的网络安全日志信息分发至多个数据库中，其中，多个数据库包括内存数据库、列存数据库、时序库、关系数据库等，多个数据库可为上层数据应用提供数据支撑。
步骤S5：对不同类别的标准化网络安全日志信息进行存储，其中，不同类别的标准化网络安全日志信息包括入侵防护事件信息、防火墙事件信息、内容安全事件信息、防病毒事件信息、反垃圾邮件事件信息、Web安全事件信息、Web访问日志信息、会话追踪日志信息等。
如图3所示，本发明提供一种网络安全日志汇接系统，采用如上所述的网络安全日志汇接方法进行网络安全日志汇接，包括：
元数据管理模块，用于对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略，其中，网络安全日志信息的处理策略包括：去重策略、格式转换策略、字典转换策略、校验策略和分发策略；
数据采集模块，用于根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息，并对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息，其中，根据网络安全日志信息所在源设备的数量以及网络安全日志信息的规模调整所述数据读取集群的数量；
数据处理模块，用于根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息；
数据存储模块，用于对不同类别的标准化网络安全日志信息进行存储。
具体地，元数据管理模块可为数据采集模块和数据处理模块提供网络安全日志汇接过程中需使用的元数据的管理和声明服务，元数据管理模块能够对数据采集模块和数据处理模块在网络安全日志汇接过程中需使用的元数据进行定义、为所述数据采集模块定义读取策略、为所述数据处理模块数据定义处理策略等，实现对各种配置信息、策略信息的设定及管理，使得在网络环境发生变化的情况下，可以方便地做出适应性的调整。
具体地，数据采集模块和数据处理模块提供网络安全日志汇接过程中需使用的元数据可以包括但不限于以下任意一种或多种：数据读取策略元数据、数据源元数据、数据项集元数据、标准字典元数据以及数据处理策略元数据。
其中，数据读取策略元数据为用于描述不同网络安全日志信息读取方法的数据信息。描述方法如下：
<DataResearch CreateTime="1665992922" DataCName="IPS日志_防火墙"DataEName="A20_IPS_RECORD">
<DataTableInfo Description="数据表信息" Name="DataTableInfo">
<Item Description="序号" key="Number" value="1"/>
<Item Description="表英文名" key="EName" value="IPS_RECORD"/>
<Item Description="表中文名" key="CName" value="IPS日志_防火墙"/>
<Item Description="同来源系统表之间关系描述" key="TablesRelation"value=""/>
<Item Description="当前数据量" key="DataVolume" value="575929"/>
<Item Description="更新机制" key="UpdateModel" value="增量"/>
<Item Description="更新周期" key="UpdateCircle" value="月"/>
<Item Description="更新方式" key="UpdateMethod" value="0"/>
<Item Description="当前更新日期" key="UpdateTime" value="12/23/2021 17:06:00"/>
<Item Description="日增量" key="DayIncrement" value="842"/>
<Item Description="接入优先级" key="AccessPriority" value="高"/>
<Item Description="接入批次" key="AccessBatch" value="第一批次"/>
<Item Description="是否提供样例数据" key="IfGetSample" value="是"/>
<Item Description="样例数据格式" key="SampleFormat" value="xlsx"/>
<Item Description="是否提供代码表" key="IfGetCodeset" value="否"/>
<Item Description="调研人员姓名" key="NameResearch" value="夏立军"/>
<Item Description="调研人员所属部门" key="DepartmentResearch"value="数据平台研发部"/>
<Item Description="调研人员手机号" key="MobileResearch" value="13800000000"/>
<Item Description="调研时间" key="DateResearch" value="2021.12.15"/>
</DataTableInfo>
<DataSource Description="数据来源" Name="DataSource">
<Item Description="来源" key="SourcePolice" value=""/>
<Item Description="管理单位" key="ManageDepartment" value="22"/>
<Item Description="事权单位代码" key="SourceDepartment" value="511700220000"/>
<Item Description="数据资源来源类型" key="SourceType" value="99000"/>
<Item Description="来源系统名称" key="SourceSystem" value="A20"/>
<Item Description="数据采集来源" key="SourceCollection" value="06"/>
<Item Description="来源联系人" key="NameContact" value=""/>
<Item Description="来源联系人联系方式" key="MobileContact" value=""/>
<Item Description="来源厂商" key="FirmName" value=""/>
<Item Description="厂商联系方式" key="FirmContact" value=""/>
<Item Description="数据采集地" key="PlaceCollection" value="北京市"/>
<Item Description="数据采集方式" key="ModeCollection" value="1"/>
<Item Description="数据获取方式" key="GetMethod" value="03"/>
<Item Description="数据地址连接信息" key="DataBaseLink" value=""/>
<Item Description="数据是否会有更新" key="WillUpdate" value="0"/>
<Item Description="更新字段" key="UpdateField" value=""/>
<Item Description="更新初始值" key="UpdateFieldInitValue" value=""/>
</DataSource>
</DataResearch>
其中，数据源元数据为用于描述不同网络安全日志信息对应的数据源特征的数据信息，描述方法如下：
<DATA>
<ITEM key="I010032" rmk="列分隔符（缺少值时默认为制表符\t）" val="\t"/>
<ITEM key="I010033" rmk="行分隔符（缺少默认为换行符）" val="\n"/>
<ITEM key="A010004" rmk="数据集代码" val="A20_IPS_RECORD"/>
<ITEM key="J030019" rmk="数据集中文名称" val="IPS日志"/>
<ITEM key="B050016" rmk="数据来源" val=""/>
<ITEM key="F010008" rmk="数据采集地" val=""/>
<ITEM key="I010038" rmk="数据起始行，可选项，填写默认为第1行" val="2"/>
<ITEM key="I010039" rmk="" val="UTF-8"/>
<DATASET name="WA_COMMON_010014" rmk="数据文件信息">
<DATA>
<ITEM key="H040003" rmk="文件路径" val=""/>
<ITEM key="H010020" rmk="文件名"val=""/>
<ITEM key="I010034" rmk="记录行数"val=""/>
</DATA>
</DATASET>
<DATASET name="WA_COMMON_010015" rmk="数据结构">
<DATA>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="I090212" name="time" rmk="" val="命中时间"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="I090238" name="danger_degree" rmk="" val="威胁程度"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment="" is_encrypt="" key="I090242"name="breaking_sighn" rmk="" val="根据规则应采取的动作"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="Z003Y19" name="ruleid" rmk="" val="策略id"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment="" is_encrypt=""key="I010009" name="msg" rmk="" val="摘要"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="Z003M95" name="src_addr" rmk="" val="源ip"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="I090254" name="src_port" rmk="" val="源端口"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="Z003X63" name="dst_addr" rmk="" val="目的ip"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="Z003X64" name="dst_port" rmk="" val="目的端口"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="I090243" name="proto" rmk="" val="协议"/>
<ITEM decrypt_key="" decrypt_rule="" is_attachment=""is_encrypt="" key="H140024" name="user" rmk="" val="用户"/>
</DATA>
</DATASET>
</DATA>
其中，数据项集元数据为用于描述不同数据存储结构的数据信息，描述方法如下：
<DataItemSet CName="IPS日志" DataItemSetID="TJ_BASIC_0502" EName="IPS_RECORD"FieldSets="TJ_EXTEND_0000_FIELD,GASH_SOURCE_0000_FIELD,TJ_BASIC_0502_FIELD" NameSpace="ORI002">
<Field BeSensitivity="" CName="设备类型" CodeSet="" DataItemID="C010012" DataItemIdentifier=""DataLength="32" DataType="string" Description="" EName="DEVICE_TYPE" IfDeploy="" IfInquiry="true"IfNotNull="" IfParticiple="" SeqNum="1"/>
<Field BeSensitivity="" CName="设备标识符" CodeSet="" DataItemID="B050035" DataItemIdentifier=""DataLength="128" DataType="string" Description="" EName="DEVICE_ID" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple=""SeqNum="2"/>
<Field BeSensitivity="" CName="命中时间" CodeSet="" DataItemID="I090212" DataItemIdentifier=""DataLength="20" DataType="number" Description="" EName="HIT_TIME" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple=""SeqNum="3"/>
<Field BeSensitivity="" CName="威胁程度" CodeSet="" DataItemID="I090238" DataItemIdentifier=""DataLength="4000" DataType="string" Description="" EName="DANGER_DEGREE" IfDeploy=""IfInquiry="" IfNotNull="" IfParticiple="" SeqNum="4"/>
<Field BeSensitivity="" CName="根据规则应采取的动作" CodeSet=""DataItemID="I090242" DataItemIdentifier=""DataLength="4000" DataType="string"Description="" EName="BREAKING_SIGHN" IfDeploy=""IfInquiry="" IfNotNull=""IfParticiple="" SeqNum="5"/>
<Field BeSensitivity="" CName="策略id" CodeSet="" DataItemID="Z003Y19" DataItemIdentifier="" DataLength="64"DataType="string" Description="" EName="RULEID" IfDeploy="" IfInquiry="" IfNotNull=""IfParticiple=""SeqNum="6"/>
<Field BeSensitivity="" CName="摘要" CodeSet="" DataItemID="I010009" DataItemIdentifier=""DataLength="4000" DataType="string" Description="" EName="MSG" IfDeploy=""IfInquiry="" IfNotNull="" IfParticiple="" SeqNum="7"/>
<Field BeSensitivity="" CName="源ip" CodeSet="" DataItemID="Z003M95" DataItemIdentifier=""DataLength="128" DataType="string" Description="" EName="SRC_ADDR" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple=""SeqNum="8"/>
<Field BeSensitivity="" CName="源端口" CodeSet="" DataItemID="I090254" DataItemIdentifier=""DataLength="4000" DataType="string" Description="" EName="SRC_PORT" IfDeploy=""IfInquiry="" IfNotNull="" IfParticiple=""SeqNum="9"/>
<Field BeSensitivity="" CName="目的ip" CodeSet="" DataItemID="Z003X63" DataItemIdentifier=""DataLength="128" DataType="string" Description="" EName="DST_ADDR" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple=""SeqNum="10"/>
<Field BeSensitivity="" CName="目的端口" CodeSet="" DataItemID="Z003X64" DataItemIdentifier=""DataLength="128" DataType="string" Description="" EName="DST_PORT" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple=""SeqNum="11"/>
<Field BeSensitivity="" CName="协议" CodeSet="" DataItemID="I090243" DataItemIdentifier=""DataLength="4000" DataType="string" Description="" EName="PROTO" IfDeploy=""IfInquiry="" IfNotNull="" IfParticiple="" SeqNum="12"/>
<Field BeSensitivity="" CName="用户" CodeSet="" DataItemID="H140024" DataItemIdentifier=""DataLength="64" DataType="string" Description="" EName="USER" IfDeploy="" IfInquiry=""IfNotNull="" IfParticiple="" SeqNum="13"/>
</DataItemSet>
其中，标准字典元数据为用于描述不同标准数据字典以及原始数据与标准字典映射关系的数据信息，描述方法如下：
<CodeMap Name="AUDIT_RECORD_TYPE_MAP">
<Item Description="" Dst="登录" Src="1"/>
<Item Description="" Dst="操作" Src="2"/>
<Item Description="" Dst="异常" Src="3"/>
<Item Description="" Dst="自动更新" Src="4"/>
<Item Description="" Dst="手工更新" Src="5"/>
<Item Description="" Dst="重启引擎" Src="6"/>
<Item Description="" Dst="重启设备" Src="7"/>
</CodeMap>
其中，数据处理策略元数据为用于描述不同网络安全日志信息处理过程的数据信息，描述方法如下：
<Normalizing CreateTime="1666002357" DataSet="TJ_BASIC_0502"NameSpace="ORI002">
<NormalizedField Element="H010002">
<Expression Function="dm_assignment">
<Param Fmt="" Name="const" Value="BTB"/>
</Expression>
</NormalizedField>
<NormalizedField Element="Z003093">
<Expression Function="dm_time">
<Param Name="element" Value="Z003093"/>
</Expression>
</NormalizedField>
<NormalizedField Element="Z003336">
<Expression Function="dm_gettextcontent"/>
</NormalizedField>
<NormalizedField Element="Z003AM5">
<Expression Function="dm_time">
<Param Name="element" Value="Z003AM5"/>
</Expression>
</NormalizedField>
<NormalizedField Element="Z003AM6">
<Expression Function="dm_time">
<Param Name="element" Value="Z003AM6"/>
</Expression>
</NormalizedField>
<NormalizedField Element="Z003AM7">
<Expression Function="dm_time">
<Param Name="element" Value="Z003AM7"/>
</Expression>
</NormalizedField>
<NormalizedField Element="Z003AM8">
<Expression Function="dm_time">
<Param Name="element" Value="Z003AM8"/>
</Expression>
</NormalizedField>
<NormalizedField Element="K000760">
<Expression Function="dm_time">
<Param Name="element" Value="K000760"/>
</Expression>
</NormalizedField>
<NormalizedField Element="J060060">
<Expression Function="dm_time">
<Param Name="element" Value="J060060"/>
</Expression>
</NormalizedField>
<NormalizedField Element="H010014">
<Expression Function="dm_time">
<Param Name="element" Value="H010014"/>
</Expression>
</NormalizedField>
<NormalizedField Element="I090212">
<Expression Function="dm_time">
<Param Name="element" Value="I090212"/>
</Expression>
</NormalizedField>
</Normalizing>
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种网络安全日志汇接方法，其特征在于，所述方法包括：
对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略；
根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息，其中，多源异构网络安全日志信息包括不同厂商、不同设备产生的多种类型的网络安全日志信息，所述数据读取集群采用管理节点-工作节点的架构读取多源异构网络安全日志信息，所述管理节点用于管理工作节点以及所述数据读取集群的状态，所述工作节点作为数据读取节点，其中，所述管理节点根据网络安全日志信息的读取策略分配读取多源异构网络安全日志信息需要的工作节点；
其中，根据网络安全日志信息所在源设备的数量以及网络安全日志信息的规模调整所述数据读取集群的数量；
对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息；
根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息；
对不同类别的标准化网络安全日志信息进行存储。
2.根据权利要求1所述的网络安全日志汇接方法，其特征在于，所述读取适配器包括通用安全日志适配器和专用安全日志适配器。
3.根据权利要求2所述的网络安全日志汇接方法，其特征在于，对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器包括：
在通用安全日志适配器可支持网络安全日志信息时，定义通用安全日志适配器为读取适配器；
在通用安全日志适配器不支持网络安全日志信息时，通过在所述通用安全日志适配器上加载以及定义模板形成专用安全日志适配器，定义专用安全日志适配器为读取适配器。
4.根据权利要求3所述的网络安全日志汇接方法，其特征在于，定义模板包括定义准备接入的网络安全日志信息的关键词、定义准备接入的网络安全日志信息的分隔符、定义准备接入的网络安全日志信息的内容字段中的字段顺序规则。
5.根据权利要求1所述的网络安全日志汇接方法，其特征在于，所述初步解析结果包括：读取的网络安全日志信息中的源IP、目的IP、时间、日志类型、报警级别以及源设备类型。
6.根据权利要求1所述的网络安全日志汇接方法，其特征在于，所述根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息包括：
通过设定的时间窗口获取不同类别的网络安全日志信息，对获取的不同类别的网络安全日志信息进行去重处理；
对经过去重处理的网络安全日志信息根据日期、时间、所在设备名称、所在设备类型、源IP地址以及目的IP地址进行表示口径的统一；
对经过去重处理的网络安全日志信息根据不同厂商设备产生的安全日志中包括报警级别、报警类型以及日志编码的专用字典字段进行表示口径的统一；
判断经过表示口径的统一后的网络安全日志信息中是否存在异常数据，根据判断结果去除异常数据；
将去除异常数据后的网络安全日志信息分发至多个数据库中。
7.一种网络安全日志汇接系统，采用如权利要求1-6任一项所述的网络安全日志汇接方法进行网络安全日志汇接，其特征在于，所述系统包括：
元数据管理模块，用于对准备接入的网络安全日志信息进行分析，根据分析结果定义读取适配器，并定义包括读取位置和读取周期的网络安全日志信息读取策略，以及定义网络安全日志信息的处理策略；
数据采集模块，用于根据网络安全日志信息的读取策略采用多个数据读取集群读取多源异构网络安全日志信息，并对读取的网络安全日志信息进行初步解析，根据初步解析结果对读取的网络安全日志信息进行粗分处理，得到不同类别的网络安全日志信息；
数据处理模块，用于根据网络安全日志信息的处理策略对不同类别的网络安全日志信息进行深度处理，获取不同类别的标准化网络安全日志信息；
数据存储模块，用于对不同类别的标准化网络安全日志信息进行存储。
8.根据权利要求7所述的网络安全日志汇接系统，其特征在于，网络安全日志信息的处理策略包括：去重策略、格式转换策略、字典转换策略、校验策略和分发策略。
CN202310712778.4A 2023-06-16 2023-06-16 网络安全日志汇接方法及系统 Active CN116455678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310712778.4A CN116455678B (zh) 2023-06-16 2023-06-16 网络安全日志汇接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310712778.4A CN116455678B (zh) 2023-06-16 2023-06-16 网络安全日志汇接方法及系统

Publications (2)

Publication Number Publication Date
CN116455678A CN116455678A (zh) 2023-07-18
CN116455678B true CN116455678B (zh) 2023-09-05

Family

ID=87122309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310712778.4A Active CN116455678B (zh) 2023-06-16 2023-06-16 网络安全日志汇接方法及系统

Country Status (1)

Country Link
CN (1) CN116455678B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573024A (zh) * 2015-01-12 2015-04-29 国家电网公司 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统
CN106201848A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 一种实时计算平台的日志处理方法和装置
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN107273867A (zh) * 2017-06-27 2017-10-20 航天星图科技（北京）有限公司 空天遥感数据处理一体机
CN107493275A (zh) * 2017-08-08 2017-12-19 北京盛华安信息技术有限公司 异构网络安全日志信息的自适应提取和分析方法及系统
CN112866294A (zh) * 2021-03-15 2021-05-28 中国电子科技集团公司第十五研究所 一种多协议适配方法、装置及可读存储介质
CN113010506A (zh) * 2021-03-11 2021-06-22 江苏省生态环境监控中心(江苏省环境信息中心) 一种多源异构水环境大数据管理系统
CN113297148A (zh) * 2021-06-18 2021-08-24 杭州安恒信息安全技术有限公司 业务日志数据的采集方法、装置、设备及可读存储介质
CN113901117A (zh) * 2021-09-26 2022-01-07 中国船舶工业系统工程研究院 用于多源试验数据引接处理方法
CN114817240A (zh) * 2022-03-24 2022-07-29 中煤(天津)地下工程智能研究院有限公司 基于选煤厂管理平台的数据资源区的数据处理方法
CN115221143A (zh) * 2022-04-26 2022-10-21 中国电子科技集团公司第十五研究所 一种跨类型迁移的算子化多源大数据处理方法
CN115237989A (zh) * 2022-08-04 2022-10-25 辽宁排山楼黄金矿业有限责任公司 一种矿山数据采集系统
CN115620516A (zh) * 2022-10-07 2023-01-17 天津市智能交通运行监测中心 一种城市交通数据库信息采集方法和系统
CN115640300A (zh) * 2022-10-27 2023-01-24 中国人民解放军中部战区联合参谋部联合训练局 一种大数据管理方法、系统、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180375942A1 (en) * 2017-06-27 2018-12-27 Board Of Trustees Of The University Of Arkansas Semantic Ontology-Based Internet Scale Communication Method of Machine Tools for Providing Remote Operational Services

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573024A (zh) * 2015-01-12 2015-04-29 国家电网公司 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统
CN106201848A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 一种实时计算平台的日志处理方法和装置
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN107273867A (zh) * 2017-06-27 2017-10-20 航天星图科技（北京）有限公司 空天遥感数据处理一体机
CN107493275A (zh) * 2017-08-08 2017-12-19 北京盛华安信息技术有限公司 异构网络安全日志信息的自适应提取和分析方法及系统
CN113010506A (zh) * 2021-03-11 2021-06-22 江苏省生态环境监控中心(江苏省环境信息中心) 一种多源异构水环境大数据管理系统
CN112866294A (zh) * 2021-03-15 2021-05-28 中国电子科技集团公司第十五研究所 一种多协议适配方法、装置及可读存储介质
CN113297148A (zh) * 2021-06-18 2021-08-24 杭州安恒信息安全技术有限公司 业务日志数据的采集方法、装置、设备及可读存储介质
CN113901117A (zh) * 2021-09-26 2022-01-07 中国船舶工业系统工程研究院 用于多源试验数据引接处理方法
CN114817240A (zh) * 2022-03-24 2022-07-29 中煤(天津)地下工程智能研究院有限公司 基于选煤厂管理平台的数据资源区的数据处理方法
CN115221143A (zh) * 2022-04-26 2022-10-21 中国电子科技集团公司第十五研究所 一种跨类型迁移的算子化多源大数据处理方法
CN115237989A (zh) * 2022-08-04 2022-10-25 辽宁排山楼黄金矿业有限责任公司 一种矿山数据采集系统
CN115620516A (zh) * 2022-10-07 2023-01-17 天津市智能交通运行监测中心 一种城市交通数据库信息采集方法和系统
CN115640300A (zh) * 2022-10-27 2023-01-24 中国人民解放军中部战区联合参谋部联合训练局 一种大数据管理方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN116455678A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
US20230041672A1 (en) Enterprise data processing
CA2629279C (en) Log collection, structuring and processing
US9135322B2 (en) Environment classification
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
US20120290544A1 (en) Data compliance management
CN112711520A (zh) 异常日志信息的处理方法、装置、设备及存储介质
US8738767B2 (en) Mainframe management console monitoring
CN111488594B (zh) 一种基于云服务器的权限检查方法、装置、存储介质及终端
CN113111951B (zh) 数据处理方法以及装置
CN112965979A (zh) 一种用户行为分析方法、装置及电子设备
CN115865525B (zh) 日志数据处理方法、装置、电子设备和存储介质
US11748495B2 (en) Systems and methods for data usage monitoring in multi-tenancy enabled HADOOP clusters
CN111177480A (zh) 一种区块链目录档案系统
CN106844497A (zh) 一种数据库代码的检查装置和方法
CN116455678B (zh) 网络安全日志汇接方法及系统
CN113065801A (zh) 组织架构管理方法、装置、设备及存储介质
CN115344582A (zh) 元数据的管理方法、装置、电子设备及计算机存储介质
CN111209284B (zh) 基于元数据的分表方法及装置
US10108500B2 (en) Replicating a group of data objects within a storage network
CN112448972B (zh) 数据交换与共享平台
CN112100661B (zh) 一种数据处理方法及装置
CN113067842B (zh) 数据处理方法、装置、设备及计算机存储介质
CN116976984A (zh) 基于MetaAPI的广告报告获取方法、装置及其相关介质
CN116483795A (zh) 日志数据处理方法、装置、电子设备及存储介质
CN117610078A (zh) 数据流转预警的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant