CN112751876A - 消息采集系统的控制方法、装置、电子设备及存储介质 - Google Patents

消息采集系统的控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112751876A
CN112751876A CN202011643282.9A CN202011643282A CN112751876A CN 112751876 A CN112751876 A CN 112751876A CN 202011643282 A CN202011643282 A CN 202011643282A CN 112751876 A CN112751876 A CN 112751876A
Authority
CN
China
Prior art keywords
log data
data
acquisition
information
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643282.9A
Other languages
English (en)
Other versions
CN112751876B (zh
Inventor
李金波
乔光玉
杨圣峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202011643282.9A priority Critical patent/CN112751876B/zh
Publication of CN112751876A publication Critical patent/CN112751876A/zh
Application granted granted Critical
Publication of CN112751876B publication Critical patent/CN112751876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种消息采集系统的控制方法、装置、电子设备及存储介质。该消息采集系统的控制方法，包括：获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；获取从所述目标设备采集的日志数据；根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。

Description

消息采集系统的控制方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机网络技术领域，具体而言，涉及一种消息采集系统的控制方法、装置、电子设备及存储介质。
背景技术
当前国内外网络安全形势复杂，各种攻防黑客技术层出不穷，为应对复杂多样的网络攻击，态势感知系统在网络安全中起到非常重要的作用，对安全数据以及各项流量数据的实时采集为后续的数据分析以及攻击定位与阻断提供了重要的依据。为了实时、快速、准确的采集到数据，对采集到的数据进行实时准确的过滤和处理，及时根据攻击变化针对性的对采集进行管理成为采集的关键环节。
通常数据采集会经过数据的收集、清洗、转换、过滤、补充等环节对数据进行初步处理，形成规范化的有效数据为分析提供依据。而数据清洗补充的准确性与实时性对安全分析起到关键作用。但在网络攻击情况复杂多变的情况下，灵活性较差。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种消息采集系统的控制方法、装置、电子设备及存储介质，大大提高了消息采集设备的灵活性和实时性，也提高了日志数据采集量。
第一方面，本申请实施例提供了一种消息采集系统的控制方法，所述系统包括主控设备以及与主控设备连接的多个消息采集设备，所述方法用于所述消息采集设备中，包括：
获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；
获取从所述目标设备采集的日志数据；
根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；
根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；
将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述获取从所述目标设备采集的日志数据，包括：
获取从所述目标设备采集的原始日志数据；
对所述原始日志数据进行数据清洗得到日志数据。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述风险数据包括攻击识别模型和/或威胁情报数据；所述根据风险数据对所述第一日志数据进行分析以得到补充日志数据，包括：
获取与所述目标设备相关且出现所述第一日志数据中的第一设备的资产数据；
根据所述资产数据以及所述攻击识别模型和/或威胁情报数据对所述第一日志数据进行分析以得到与所述资产数据关联的补充日志数据。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述方法还包括：
接收所述主控设备下发的新版攻击识别模型和/或新版威胁情报数据；
根据新版攻击识别模型和/或新版威胁情报数据对风险数据进行更新。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述方法还包括：
每隔预设周期上传自身的性能参数和/或工作状态上传至主控设备。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据，包括：
获取所述日志数据的数据格式分类信息；
根据所述数据格式分类信息调用对应的采集规则中的至少一个采集子规则对所述日志数据进行解析，得到第一日志数据。
可选地，在本申请实施例所述的消息采集系统的控制方法中，所述方法还包括：
接收所述主控设备发送的规则更新信息，所述规则更新信息携带有待更新采集规则的设备信息以及新的采集规则；
根据所述新的采集规则对所述设备信息对应的旧的采集规则进行更新。
第二方面，本申请实施例还提供了一种消息采集系统的控制装置，所述系统包括主控设备以及与主控设备连接的多个消息采集设备，所述装置用于所述消息采集设备中，包括：
第一获取模块，用于获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；
第二获取模块，用于获取从所述目标设备采集的日志数据；
解析模块，用于根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；
分析模块，用于根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；
上传模块，用于将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例提供的消息采集系统的控制方法及装置通过获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；获取从所述目标设备采集的日志数据；根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备；从而实现分布式消息采集控制，大大提高了消息采集设备的灵活性和实时性，也提高了日志数据采集量。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的消息采集系统的控制方法的一种流程图。
图2为本申请实施例提供的消息采集系统的结构图。
图3为本申请实施例提供的消息采集系统的控制方法的场景图。
图4为本申请实施例提供的消息采集系统控制装置的结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种消息采集系统的控制方法的流程图。如图2所示，该系统包括主控设备100以及与所述主控设备100连接的多个消息采集设备200，消息采集设备200用于在主控设备的控制下对多个目标设备300进行日志数据采集。其中，该主控设备100内设置有ActiveMq消息队列以及TsmComm模块，消息采集设备200内设置有TsmComm模块。该主控设备通过该ActiveMq消息队列以及TsmComm模块来与该多个消息采集设备200的TsmComm模块实现主控设备与消息采集设备的交互。其中，该消息采集系统的控制方法用于所述消息采集设备中，该消息采集系统的控制方法，包括以下步骤：
S101、获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息。
S102、获取从所述目标设备采集的日志数据。
S103、根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据。
S104、根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息。
S105、将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。
其中，在该步骤S101中，该目标设备可以为网络安全设备(防火墙服务器)、公司的OA服务器、公司的数据库服务器等，当然，其并不限于此。该设备信息携带有对应的目标设备的设备编号、网络地址、设备端口号以及设备类型等信息。
其中，在该步骤S102中，该目标设备为与该设备信息对应的设备。该日志数据可以是直接由该目标设备上传的数据。当然，可以理解地，该日志数据也可以经过对该目标设备上传的原始日志数据处理得到。具体地，该步骤S102可以包括以下子步骤：S1021、获取从所述目标设备采集的原始日志数据；S1022、对所述原始日志数据进行数据清洗，得到日志数据。其中，该原始日志数据可能存在很多乱码以及无关的垃圾数据，因此，需要对该原始日志数据进行清洗，以降低后续的解析难度以及工作量。
其中，在该步骤S103中，由于不同的设备信息对应不同的目标设备，而不同的目标设备对应的不同类型的日志数据，因此，需要采用与该日志数据对应的采集规则，来采集该日志数据中的目标数据。例如，对于防火墙服务器而言，需要采集其中的外来访问信息以及对外输出的数据信息等。对于OA系统而言，需要采集员工的访问记录等。其中，不同类型的目标设备由于对应的日志数据的类型不同，因此采用来解析该日志数据的采集规则也不相同，总之需要采用对应的采集规则来采集该日志数据中对于主控设备来说所需要的有效数据。
其中，在该步骤S104中，该风险数据是指从风险数据库获取的最新更新的风险数据。风险数据由该主控设备实时更新并下发至该消息采集设备。该风险数据可以包括威胁情报数据以及攻击识别模型。该威胁情报数据是为用于识别和检测威胁的失陷标识，如文件HASH，IP，域名，程序运行路径，注册表项等，以及相关的归属标签。攻击识别模型是指用于基于日志数据识别其中的可能的攻击以及攻击阶段等。在该步骤S104中，根据风险数据对所述第一日志数据进行分析以得到补充日志数据是指基于威胁情报数据以及攻击识别模型从该第一日志数据的某一条日志中找出某一设备可能存在被攻击的威胁的证据或者依据，或者某一设备已经被攻击的证据或者依据。
其中，在该步骤S105中，将补充日志数据添加到所述第一日志数据中的对应位置，例如，由该第一日志数据中的日志A得到补充日志A，需要添加到该日志A的位置处，与该日志A产生关联，便于主控设备分析。
在一些实施例中，该步骤S104可以包括以下步骤：S1041、获取与所述目标设备相关且出现所述第一日志数据中的第一设备的资产数据；S1042、根据所述资产数据以及所述攻击识别模型和/或威胁情报数据对所述第一日志数据进行分析以得到与所述资产数据关联的补充日志数据。其中，该资产数据用于描述与该目标设备具有交互的第一设备的归属信息以及类型信息。通过该资产数据可以分析出与该目标设备产生交互的第一设备中，产生具体风险以及威胁的第一设备是哪一个，也即是可以筛选出产生威胁以及风险的危险设备，便于管理人员对危险设备进行及时的维护。
在一些实施例中，该消息采集系统的控制方法，还包括以下步骤：S105、接收主控设备下发的新版攻击识别模型和/或新版威胁情报数据。S106、根据新版攻击识别模型和/或新版威胁情报数据对风险数据进行更新。其中，当主控设备获取的更新版本的攻击识别模型或威胁情报数据后，都会下方至与其连接的每一消息采集设备，从而保证该消息采集设备中的攻击识别模型以及威胁情报数据的实时性，从而可以提高其生成的目标日志数据的完整性以及准确性。
在一些实施例中，该消息采集系统的控制方法还包括以下步骤：
S107、每隔预设周期上传自身的性能参数和/或工作状态上传至主控设备。其中，该性能参数是指其当前的工作能力以及设备工作余量等，例如，还能增加采集多少个目标设备的日志数据等。其中，该工作状态是指该目标设备当前正在做的工作有哪些以及各自的进度信息等。该预设周期可以为几分钟也可以为几十分钟，通过不断上传性能参数和/或工作状态，便于该主控设备对每一消息采集设备进行工作安排以及控制，可以提高效率。
在一些实施例中，该步骤S103可以包括以下子步骤：S1031获取所述日志数据的数据格式分类信息；S1032、根据所述数据格式分类信息调用对应的采集规则中的至少一个采集子规则对所述日志数据进行解析，得到第一日志数据。
其中，在该步骤S1031中，该数据格式分类信息用于描述该日志数据内的包括哪些数据格式，每一数据格式的数据量大概有多少。其中，在该步骤S1032中，不同类型的数据可以采用不同类型的采集子规则来进行采集，并且，根据各数据格式的数据可以选择设置对应的并行规则，从而并行使用多个线程采用对应的采集子规则来进行解析。
在一些实施例中，该消息采集系统的控制方法还包括以下步骤：
S108、接收所述主控设备发送的规则更新信息，所述规则更新信息携带有待更新采集规则的设备信息以及新的采集规则。S109、根据所述新的采集规则对所述设备信息对应的旧的采集规则进行更新。其中，主控设备会根据对应的目标设备的实际情况来调整采集规则，因此，会发送规则更新信息至对应的消息采集设备，使得消息采集设备可以及时更新最新的采集规则，达到提高效率和准确性的效果。
请参照图3所示，图3是本申请一些实施例中的消息采集系统的控制方法的场景示意图。消息采集系统的控制方法的，包括：
S201、该目标设备执行原始日志数据采集并上传至该消息采集设备。
S202、该消息采集设备对该原始日志数据进行清洗，得到日志数据。
S203、该消息采集设备对该日志数据进行解析以及转换采集操作，得到第一日志数据。
S204、该消息采集设备基于资产数据对第一日志数据中的各个第一设备进行识别，以确定其中的各个第一设备的类别以及归属。
S205、该消息采集设备结合该各个第一设备的类别及归属，采用攻击识别模型以及威胁情报数据对该第一日志数据进行威胁以及攻击识别，得到补充日志数据，并将该补充日志数据添加到该第一日志数据的对应位置，得到了目标日志数据，并将该目标日志数据上传至该主控设备。
其中，该主控设备采用其内设置的ActiveMq消息队列下方资产数据更新、攻击识别模型更新以及威胁情报更新至对应的消息采集设备。该ActiveMq消息队列为先入先出队列。使得消息采集设备可以实时更新采集规则、更新威胁情报数据以及攻击识别模型。
由上可知，本申请实施例提供的消息采集系统的控制方法通过获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；获取从所述目标设备采集的日志数据；根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备；从而实现分布式消息采集控制，大大提高了消息采集设备的灵活性和实时性；并且由于可以根据主控设备的控制实时更新采集规则、风险数据，并可以不断获取消息采集设备的性能及状态信息，可以提高效率。
请参照图4，图4是本申请一些实施例中的一种消息采集系统的控制装置的结构图，所述系统包括主控设备以及与主控设备连接的多个消息采集设备，所述装置用于所述消息采集设备中，包括：第一获取模块301、第二获取模块302、解析模块303、分析模块304、上传模块305。
其中，该第一获取模块301用于获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；该目标设备可以为网络安全设备(防火墙服务器)、公司的OA服务器、公司的数据库服务器等，当然，其并不限于此。该设备信息携带有对应的目标设备的设备编号、网络地址、设备端口号以及设备类型等信息。
其中，该第二获取模块302用于获取从所述目标设备采集的日志数据。该目标设备为与该设备信息对应的设备。该日志数据可以是直接由该目标设备上传的数据。当然，可以理解地，该日志数据也可以经过对该目标设备上传的原始日志数据处理得到。具体地，第二获取模块302用于：获取从所述目标设备采集的原始日志数据；对所述原始日志数据进行数据清洗，得到日志数据。其中，该原始日志数据可能存在很多乱码以及无关的垃圾数据，因此，需要对该原始日志数据进行清洗，以降低后续的解析难度以及工作量。
其中，该解析模块303用于根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据。由于不同的设备信息对应不同的目标设备，而不同的目标设备对应的不同类型的日志数据，因此，需要采用与该日志数据对应的采集规则，来采集该日志数据中的目标数据。例如，对于防火墙服务器而言，需要采集其中的外来访问信息以及对外输出的数据信息等。对于OA系统而言，需要采集员工的访问记录等。其中，不同类型的目标设备由于对应的日志数据的类型不同，因此采用来解析该日志数据的采集规则也不相同，总之需要采用对应的采集规则来采集该日志数据中对于主控设备来说所需要的有效数据。
其中，该分析模块304用于根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息。该风险数据是指从风险数据库获取的最新更新的风险数据。风险数据由该主控设备实时更新并下发至该消息采集设备。该风险数据可以包括威胁情报数据以及攻击识别模型。该威胁情报数据是为用于识别和检测威胁的失陷标识，如文件HASH，IP，域名，程序运行路径，注册表项等，以及相关的归属标签。攻击识别模型是指用于基于日志数据识别其中的可能的攻击以及攻击阶段等。根据风险数据对所述第一日志数据进行分析以得到补充日志数据是指基于威胁情报数据以及攻击识别模型从该第一日志数据的某一条日志中找出某一设备可能存在被攻击的威胁的证据或者依据，或者某一设备已经被攻击的证据或者依据。
其中，该上传模块305用于将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。将补充日志数据添加到所述第一日志数据中的对应位置，例如，由该第一日志数据中的日志A得到补充日志A，需要添加到该日志A的位置处，与该日志A产生关联，便于主控设备分析。
在一些实施例中，该分析模块304用于：获取与所述目标设备相关且出现所述第一日志数据中的第一设备的资产数据；根据所述资产数据以及所述攻击识别模型和/或威胁情报数据对所述第一日志数据进行分析以得到与所述资产数据关联的补充日志数据。其中，该资产数据用于描述与该目标设备具有交互的第一设备的归属信息以及类型信息。通过该资产数据可以分析出与该目标设备产生交互的第一设备中，产生具体风险以及威胁的第一设备是哪一个，也即是可以筛选出产生威胁以及风险的危险设备，便于管理人员对危险设备进行及时的维护。
由上可知，本申请实施例提供的消息采集系统的控制装置通过获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；获取从所述目标设备采集的日志数据；根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备；从而实现分布式消息采集控制，大大提高了消息采集设备的灵活性和实时性，也提高了日志数据采集量。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备4，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构(未标出)互连并相互通讯，存储器402存储有处理器401可执行的计算机程序，当计算设备运行时，处理器401执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead－Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory，简称EPROM)，可编程只读存储器(Programmable Red－Only Memory，简称PROM)，只读存储器(Read－Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种消息采集系统的控制方法，其特征在于，所述系统包括主控设备以及与主控设备连接的多个消息采集设备，所述方法用于所述消息采集设备中，包括：
获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；
获取从所述目标设备采集的日志数据；
根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；
根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；
将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。
2.根据权利要求1所述的消息采集系统的控制方法，其特征在于，所述获取从所述目标设备采集的日志数据，包括：
获取从所述目标设备采集的原始日志数据；
对所述原始日志数据进行数据清洗得到日志数据。
3.根据权利要求1所述的消息采集系统的控制方法，其特征在于，所述风险数据包括攻击识别模型和/或威胁情报数据；所述根据风险数据对所述第一日志数据进行分析以得到补充日志数据，包括：
获取与所述目标设备相关且出现所述第一日志数据中的第一设备的资产数据；
根据所述资产数据以及所述攻击识别模型和/或威胁情报数据对所述第一日志数据进行分析以得到与所述资产数据关联的补充日志数据。
4.根据权利要求3所述的消息采集系统的控制方法，其特征在于，所述方法还包括：
接收所述主控设备下发的新版攻击识别模型和/或新版威胁情报数据；
根据新版攻击识别模型和/或新版威胁情报数据对风险数据进行更新。
5.根据权利要求1所述的消息采集系统的控制方法，其特征在于，所述方法还包括：
每隔预设周期上传自身的性能参数和/或工作状态上传至主控设备。
6.根据权利要求1所述的消息采集系统的控制方法，其特征在于，所述根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据，包括：
获取所述日志数据的数据格式分类信息；
根据所述数据格式分类信息调用对应的采集规则中的至少一个采集子规则对所述日志数据进行解析，得到第一日志数据。
7.根据权利要求1所述的消息采集系统的控制方法，其特征在于，所述方法还包括：
接收所述主控设备发送的规则更新信息，所述规则更新信息携带有待更新采集规则的设备信息以及新的采集规则；
根据所述新的采集规则对所述设备信息对应的旧的采集规则进行更新。
8.一种消息采集系统的控制装置，其特征在于，所述系统包括主控设备以及与主控设备连接的多个消息采集设备，所述装置用于所述消息采集设备中，包括：
第一获取模块，用于获取主控设备下发的采集控制信息，所述采集控制信息携带有待采集的目标设备的设备信息；
第二获取模块，用于获取从所述目标设备采集的日志数据；
解析模块，用于根据所述设备信息调用对应的采集规则对所述日志数据进行解析，得到第一日志数据；
分析模块，用于根据风险数据对所述第一日志数据进行分析以得到补充日志数据，所述补充日志数据用于描述所述第一日志数据中存在的风险情况信息；
上传模块，用于将所述补充日志数据添加到所述第一日志数据得到目标日志数据，并将所述目标日志数据上传至所述主控设备。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1－7任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1－7任一项所述的方法。
CN202011643282.9A 2020-12-30 2020-12-30 消息采集系统的控制方法、装置、电子设备及存储介质 Active CN112751876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643282.9A CN112751876B (zh) 2020-12-30 2020-12-30 消息采集系统的控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643282.9A CN112751876B (zh) 2020-12-30 2020-12-30 消息采集系统的控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112751876A true CN112751876A (zh) 2021-05-04
CN112751876B CN112751876B (zh) 2022-11-15

Family

ID=75651258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643282.9A Active CN112751876B (zh) 2020-12-30 2020-12-30 消息采集系统的控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112751876B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160173446A1 (en) * 2014-12-12 2016-06-16 Fortinet, Inc. Presentation of threat history associated with network activity
CN109347827A (zh) * 2018-10-22 2019-02-15 东软集团股份有限公司 网络攻击行为预测的方法、装置、设备及存储介质
CN110032497A (zh) * 2019-04-22 2019-07-19 山东浪潮云信息技术有限公司 一种指标数据的监控系统及方法
CN110262949A (zh) * 2019-04-29 2019-09-20 北京邮电大学 智能设备日志处理系统及方法
CN110995471A (zh) * 2019-11-15 2020-04-10 苏州浪潮智能科技有限公司 一种日志采集方法、装置、系统及计算机可读存储介质
WO2020082853A1 (zh) * 2018-10-24 2020-04-30 珠海格力电器股份有限公司 监控网络安全的方法及装置、空调器、家用电器
CN111404903A (zh) * 2020-03-09 2020-07-10 深信服科技股份有限公司 一种日志处理方法、装置、设备及存储介质
CN111935082A (zh) * 2020-06-28 2020-11-13 新浪网技术(中国)有限公司 一种网络威胁信息关联系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160173446A1 (en) * 2014-12-12 2016-06-16 Fortinet, Inc. Presentation of threat history associated with network activity
CN109347827A (zh) * 2018-10-22 2019-02-15 东软集团股份有限公司 网络攻击行为预测的方法、装置、设备及存储介质
WO2020082853A1 (zh) * 2018-10-24 2020-04-30 珠海格力电器股份有限公司 监控网络安全的方法及装置、空调器、家用电器
CN110032497A (zh) * 2019-04-22 2019-07-19 山东浪潮云信息技术有限公司 一种指标数据的监控系统及方法
CN110262949A (zh) * 2019-04-29 2019-09-20 北京邮电大学 智能设备日志处理系统及方法
CN110995471A (zh) * 2019-11-15 2020-04-10 苏州浪潮智能科技有限公司 一种日志采集方法、装置、系统及计算机可读存储介质
CN111404903A (zh) * 2020-03-09 2020-07-10 深信服科技股份有限公司 一种日志处理方法、装置、设备及存储介质
CN111935082A (zh) * 2020-06-28 2020-11-13 新浪网技术(中国)有限公司 一种网络威胁信息关联系统及方法

Also Published As

Publication number Publication date
CN112751876B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111885012B (zh) 基于多种网络设备信息采集的网络态势感知方法及系统
EP2487860B1 (en) Method and system for improving security threats detection in communication networks
CN114090374B (zh) 网络安全运营管理平台
CN111614696B (zh) 一种基于知识图谱的网络安全应急响应方法及其系统
CN106055608B (zh) 自动采集和分析交换机日志的方法和装置
US20120311562A1 (en) Extendable event processing
CN109587125B (zh) 一种网络安全大数据分析方法、系统及相关装置
CN103563302A (zh) 网络资产信息管理
US9961047B2 (en) Network security management
CN110392039A (zh) 基于日志和流量采集的网络系统事件溯源方法及系统
CN114548706A (zh) 一种业务风险的预警方法以及相关设备
CN111222547B (zh) 一种面向移动应用的流量特征提取方法及系统
CN106254137A (zh) 监管系统的告警根源分析系统及方法
CN112416872A (zh) 一种基于大数据的云平台日志管理系统
CN112347501A (zh) 数据处理方法、装置、设备及存储介质
CN111046000A (zh) 一种面向政府数据交换共享的安全监管元数据组织方法
CN108390782A (zh) 一种集中式应用系统性能问题综合分析方法
CN104579771B (zh) 一种对用户登录登出应用系统的行为轨迹的分析方法
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
WO2024088025A1 (zh) 一种基于多维数据的5gc网元自动化纳管方法及装置
JP6078485B2 (ja) 運用履歴分析装置及び方法及びプログラム
CN113987492A (zh) 一种告警事件的确定方法及装置
CN112751876B (zh) 消息采集系统的控制方法、装置、电子设备及存储介质
CN108959659B (zh) 一种大数据平台的日志接入解析方法和系统
CN110855602B (zh) 物联网云平台事件识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant