CN109981529A - 报文获取方法、装置、系统及计算机存储介质 - Google Patents

报文获取方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN109981529A
CN109981529A CN201711449234.4A CN201711449234A CN109981529A CN 109981529 A CN109981529 A CN 109981529A CN 201711449234 A CN201711449234 A CN 201711449234A CN 109981529 A CN109981529 A CN 109981529A
Authority
CN
China
Prior art keywords
message
file
abstract
message file
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711449234.4A
Other languages
English (en)
Other versions
CN109981529B (zh
Inventor
唐文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Ltd China
Original Assignee
Siemens Ltd China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ltd China filed Critical Siemens Ltd China
Priority to CN201711449234.4A priority Critical patent/CN109981529B/zh
Publication of CN109981529A publication Critical patent/CN109981529A/zh
Application granted granted Critical
Publication of CN109981529B publication Critical patent/CN109981529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供报文获取方法、装置、系统及计算机存储介质。方法包括：接收报文文件，报文文件包含实时捕获到的OT网络中报文；将报文文件存储到存储系统，在报文文件摘要中添加报文文件在存储系统中的索引，且报文文件摘要包含每个报文的报文特征；将报文文件的摘要存到搜索引擎中；接收报文分析请求，根据请求指示的报文特征，在搜索引擎中查找对应摘要；根据摘要包含的报文文件在存储系统中的索引，在存储系统中查找对应报文文件，在查找到的报文文件中查找对应的报文；对查找到的报文进行解析，将解析得到的报文存到搜索引擎中，使得此后能够根据该报文特征在搜索引擎中直接查找到对应报文。本发明可支持在运营技术OT网络中快速定位网络威胁。

Description

报文获取方法、装置、系统及计算机存储介质
技术领域
本发明涉及网络威胁检测技术领域，特别涉及报文获取方法、装置、系统及计算机存储介质。
背景技术
OT(Operational Technology，运营技术)是通过直接监测以及控制企业中的物理设备、过程和事件，来检测或触发改变的硬件和软件。ICS(Industrial Control System，工业控制系统)是最常见的OT系统，用于远程监测以及控制关键过程和物理设备。
传统的OT系统(如：ICS)是一个封闭的系统，专为生产率、可操作性和可靠性而设计，较少强调安全性。由于封闭系统依赖于专有网络，因此其硬件一直被认为对网络攻击是免疫的。但是随着自动化制造和过程控制技术的进步，近年来保护IACS(IndustrialAutomation and Control System，工业自动化和控制系统)计算机环境的需求大大增长。信息技术的广泛采用例如：联合开发和外包服务的增加、智能ICS设备的出现、与外部设备/软件的连接、更加智能化的黑客和恶意软件，使得这些封闭系统演变为开放系统，因此，IACS的保护需求不断增加。
工业以太网(IE，Industrial Ethernet)在工业环境中使用以太网系列的计算机网络技术，以实现自动化和过程控制。很多技术用来适应以太网对实时控制工业过程的需求。通过使用标准以太网，来自不同制造商的自动化系统可以实现互连。工业以太网利用以太网降低成本，提高工业控制器之间的通信性能。
随着工业以太网与其他网络的互联，OT系统越来越容易受到外部的安全威胁。此外，OT系统还会受到来自内部的安全威胁。如何能够及时有效地监测这些安全威胁是一个亟需解决的问题。
发明内容
为解决上述问题，本发明提供报文获取方法，以实现对OT网络中的安全威胁进行快速定位；
本发明还提供报文获取装置，以实现对OT网络中的安全威胁进行快速定位；
本发明还提供报文获取系统，以实现对OT网络中的安全威胁进行快速定位；
本发明还提供计算机存储介质，以实现对OT网络中的安全威胁进行快速定位。
为了达到上述目的，本发明提供了如下技术方案：
第一方面提供一种报文获取方法，该方法包括：
获取一个报文文件，所述报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文；
将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，且所述报文文件的摘要包含所述报文文件的文件特征以及所述报文文件包含的至少一个报文中每一个的报文特征；
将所述报文文件的摘要存储到一个搜索引擎中；
接收一个报文的分析请求，所述分析请求指示要获取的报文所具有的报文特征；
根据所述分析请求指示的要获取的报文所具有的报文特征，在所述搜索引擎中查找到对应的摘要；
若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在所述存储系统中的索引，在所述存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；
将查找到的至少一个报文存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文。
本发明通过上述步骤实现了用户只需第一次在容量巨大的报文文件中搜索具备一网络威胁特征的报文，而此后则可以直接在搜索引擎中搜索到具备该网络威胁特征的报文的数据载荷，从而实现了对OT网络中的安全威胁进行快速定位。
一实施例中，所述将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文的数据载荷；
或者，所述将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷解析后得到的信息存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文解析后的信息。
本发明通过上述步骤实现了针对OT网络中的安全威胁快速定位报文的数据载荷或者报文解析后的信息。
一实施例中，所述报文文件的摘要进一步包括所述报文文件包含的至少一个报文中每一个报文在所述报文文件中的索引；
且，所述在查找到的报文文件中查找到对应的至少一个报文之前进一步包括：
根据所述要获取的报文所具有的报文特征，在查找到的摘要中查找到对应报文的索引，根据查找到的索引，在查找到的报文文件中查找到对应的报文。
本发明通过上述步骤可以使得通过摘要中的索引，快速在报文文件中查找到报文。
一实施例中，所述获取一个报文文件之后、将所述报文文件存储到一个存储系统中之前进一步包括：为所述报文文件生成摘要；
且，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；
或者，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量和所述报文文件中包含的会话的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
本发明通过在报文文件的摘要中定义上述文件特征和报文特征，使得用户可以根据搜索引擎中的报文摘要在存储系统中查找到对应的报文文件。
所述获取一个报文文件之后、将所述报文文件存储到一个存储系统中之前进一步包括：
对所述报文文件进行如下之一或组合的检测：
对所述报文文件进行入侵检测；检测所述报文文件中是否存在预定义的入侵标识；
若未检测到任何异常，则不存储所述报文文件；否则，执行所述将所述报文文件存储到一个存储系统中的动作。
本发明通过上述步骤，使得CTH平台无需保存不具备安全威胁的报文文件，从而节省了CTH平台的存储空间，减轻了CTH平台的存储压力。
一实施例中，所述获取一个报文文件之后进一步包括：
在所述报文文件或/和所述报文文件的摘要中，查找预定义的网络威胁相关特征；
对于查找到的每一网络威胁相关特征，在一个特征库中查找该网络威胁相关特征的历史活动数据和背景数据，所述历史活动数据为：具有该网络威胁相关特征的历史网络活动的数据，所述背景数据为用于识别该网络威胁相关特征对应主体的属性的数据；
建立一个数据项，所述数据项包括网络威胁相关特征及其对应的历史活动数据和背景数据；
建立一个数据项列表，将所述数据项列表添加到搜索引擎中，以使得能够根据网络威胁相关特征在所述数据项列表中查找到对应的历史活动数据和背景数据。
本发明通过上述步骤来建立网络威胁相关特征的历史活动数据和背景数据，并添加到搜索引擎中，从而可为网络安全分析师提供更多参考。
一实施例中，所述获取一个报文文件包括：
将NSM传感器通过传输控制协议TCP连接发来的至少一个报文封装为所述报文文件，其中，NSM传感器通过TCP连接发来的至少一个报文为所述NSM传感器实时捕获到的OT网络中的报文，
且，当与所述NSM传感器之间的连接由中断转为恢复时，接收所述NSM传感器通过TCP连接发来的报文，同时接收所述NSM传感器通过安全文件传输协议SFTP连接发来的报文，其中，通过TCP连接发来的报文为：所述NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：所述NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
本发明通过上述步骤，使得在与NSM传感器之间的连接由中断转为恢复时，NSM传感器缓存的报文和实时捕获的报文能够并行地、快速地发送出去。
第二方面提供另一种报文获取方法，该方法包括：
将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，所述摘要包含所述报文文件的文件特征以及所述报文文件包含的每一个报文的报文特征；
发送所述报文文件及其摘要，以使得：所述报文文件及其摘要的接收者将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，并将所述报文文件的摘要存储到一个搜索引擎中。
本发明通过上述步骤实现了发送捕获到的OT子网中的报文及其摘要，从而使得报文及其摘要的接收者将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，并将报文文件的摘要存储到一个搜索引擎中，从而实现了对OT网络中的安全威胁进行快速定位。
一实施例中，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量，且，所述报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；
或者，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量和所述报文文件中包含的会话的数量，且，所述报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
本发明通过在报文文件的摘要中定义上述文件特征和报文特征，使得用户可以根据搜索引擎中的报文摘要在存储系统中查找到对应的文件。
一实施例中，所述将实时捕获到的OT网络中的报文封装成至少一个报文文件之后进一步包括：
所述对所述报文文件进行如下之一或组合的检测：
对所述报文文件进行入侵检测；检测所述报文文件中是否存在预定义的入侵标识；
若未检测到任何异常，则不发送所述报文文件，而只发送所述报文文件的摘要；否则，一起发送所述报文文件及其摘要。
本发明通过上述步骤，使得接收者无需保存不具备安全威胁的报文文件，从而节省了接收者的存储空间，减轻了接收者的存储压力。
一实施例中，所述将实时捕获到的OT网络中的报文封装成至少一个报文文件之前进一步包括：
所述接收NSM传感器通过传输控制协议TCP连接发来的报文，该报文为所述NSM传感器实时捕获到的OT网络中的报文；
且，当与所述NSM传感器之间的连接由中断转为恢复时，接收所述NSM传感器通过TCP连接发来的报文，同时接收所述NSM传感器通过安全文件传输协议SFTP连接发来的报文，其中，通过TCP连接发来的报文为：所述NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：所述NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
本发明通过上述步骤，使得在与NSM传感器之间的连接由中断转为恢复时，NSM传感器缓存的报文和实时捕获的报文能够并行地、快速地发送出去。
第三方面提供一种报文获取装置，该装置位于CTH平台上，该装置包括：
一个存储处理模块，用于获取一个报文文件，所述报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文；将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，且所述报文文件的摘要包含所述报文文件的文件特征以及所述报文文件包含的所述至少一个报文中每一个的报文特征；将所述报文文件的摘要存储到一个搜索引擎中；
一个搜索处理模块，用于接收一个报文的分析请求，所述分析请求指示要获取的报文所具有的报文特征；根据所述分析请求指示的要获取的报文所具有的报文特征，在所述搜索引擎中查找到对应的摘要；若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在所述存储系统中的索引，在所述存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；将查找到的至少一个报文存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文。
本发明装置通过上述方案实现了用户只需第一次在容量巨大的报文文件中搜索具备一网络威胁特征的报文，而此后则可以直接在搜索引擎中搜索到具备该网络威胁特征的报文的数据载荷，从而实现了对OT网络中的安全威胁进行快速定位。
一实施例中，所述搜索处理模块将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文的数据载荷；
或者，所述搜索处理模块将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷解析后得到的信息存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文解析后的信息。
本发明通过上述方案实现了针对OT网络中的安全威胁快速定位报文的数据载荷或者报文解析后的信息。
一实施例中，所述存储处理模块存储到搜索引擎中的报文文件的摘要进一步包括所述报文文件包含的至少一个报文中每一个报文在所述报文文件中的索引；
且，所述搜索处理模块在查找到的报文文件中查找到对应的至少一个报文之前进一步用于，根据所述要获取的报文所具有的报文特征，在查找到的摘要中查找到对应报文的索引，根据查找到的索引，在查找到的报文文件中查找到对应的报文。
本发明通过上述方案可以使得通过摘要中的索引，快速在报文文件中查找到报文。
一实施例中，所述存储处理模块获取一个报文文件之后、将所述报文文件存储到一个存储系统中之前进一步用于，为所述报文文件生成摘要；
且，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；
或者，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量和所述报文文件中包含的会话的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
本发明通过在报文文件的摘要中定义上述文件特征和报文特征，使得用户可以根据搜索引擎中的报文摘要在存储系统中查找到对应的文件。
一实施例中，所述存储处理模块获取一个报文文件之后、将所述报文文件存储到一个存储系统中之前进一步包括：
对所述报文文件进行如下之一或组合的检测：
对所述报文文件进行入侵检测；检测所述报文文件中是否存在预定义的入侵标识；
若未检测到任何异常，则不存储所述报文文件；否则，执行所述将所述报文文件存储到一个存储系统中的动作。
本发明通过上述方案，使得CTH平台无需保存不具备安全威胁的报文文件，从而节省了CTH平台的存储空间，减轻了CTH平台的存储压力。
一实施例中，所述存储处理模块获取一个报文文件之后进一步用于，
在所述报文文件或/和所述报文文件的摘要中，查找预定义的网络威胁相关特征；
对于查找到的每一网络威胁相关特征，在一个特征库中查找该网络威胁相关特征的历史活动数据和背景数据，所述历史活动数据为：具有该网络威胁相关特征的历史网络活动的数据，所述背景数据为用于识别该网络威胁相关特征对应主体的属性的数据；
建立一个数据项，所述数据项包括网络威胁相关特征及其对应的历史活动数据和背景数据；
建立一个数据项列表，将所述数据项列表添加到搜索引擎中，以使得能够根据网络威胁相关特征在所述数据项列表中查找到对应的历史活动数据和背景数据。
本发明通过建立网络威胁相关特征的历史活动数据和背景数据，并添加到搜索引擎中，从而可为网络安全分析师提供更多参考。
一实施例中，所述存储处理模块获取一个报文文件包括：
将NSM传感器通过传输控制协议TCP连接发来的至少一个报文封装为所述报文文件，其中，NSM传感器通过TCP连接发来的至少一个报文为所述NSM传感器实时捕获到的OT网络中的报文，
且，当与所述NSM传感器之间的连接由中断转为恢复时，接收所述NSM传感器通过TCP连接发来的报文，同时接收所述NSM传感器通过安全文件传输协议SFTP连接发来的报文，其中，通过TCP连接发来的报文为：所述NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：所述NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
本发明通过上述方案，使得在与NSM传感器之间的连接由中断转为恢复时，NSM传感器缓存的报文和实时捕获的报文能够并行地、快速地发送出去。
第四方面提供另一种报文获取装置，该装置包括：
一个封装及摘要生成模块，用于将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，所述摘要包含所述报文文件的文件特征以及所述报文文件包含的每一个的报文特征；
一个传输模块，用于发送所述封装及摘要生成模块封装得到的报文文件以及生成的摘要，以使得：所述报文文件及其摘要的接收者将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，并将所述报文文件的摘要存储到一个搜索引擎中。
本发明装置通过上述方案实现了发送捕获到的OT子网中的报文及其摘要，从而使得报文及其摘要的接收者将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，并将报文文件的摘要存储到一个搜索引擎中，从而实现了对OT网络中的安全威胁进行快速定位。
一实施例中，所述传输模块将实时捕获到的OT网络中的报文封装成至少一个报文文件之后进一步用于，
对所述报文文件进行如下之一或组合的检测：
对所述报文文件进行入侵检测；检测所述报文文件中是否存在预定义的入侵标识；
若未检测到任何异常，则不发送所述报文文件，而只发送所述报文文件的摘要；否则，一起发送所述报文文件及其摘要。
本发明通过上述方案，使得接收者无需保存不具备安全威胁的报文文件，从而节省了接收者的存储空间，减轻了接收者的存储压力。
一实施例中，所述传输模块将实时捕获到的OT网络中的报文封装成至少一个报文文件之前进一步用于，
接收NSM传感器通过传输控制协议TCP连接发来的报文，该报文为所述NSM传感器实时捕获到的OT网络中的报文；且，
当与所述NSM传感器之间的连接由中断转为恢复时，接收所述NSM传感器通过TCP连接发来的报文，同时接收所述NSM传感器通过安全文件传输协议SFTP连接发来的报文，其中，通过TCP连接发来的报文为：所述NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：所述NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
本发明通过上述方案，使得在与NSM传感器之间的连接由中断转为恢复时，NSM传感器缓存的报文和实时捕获的报文能够并行地、快速地发送给CTH平台。
第五方面提供一种报文获取系统，该系统包括：用于实现第二方面或第二方面的任何一种可能的实现方式所提供的方法的第一装置，以及用于实现第一方面或第一方面的任何一种可能的实现方式所提供的方法的第二装置，其中，第一装置将报文文件及其摘要发送给第二装置。
第六方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时实现第一方面或第一方面的任何一种可能的实现方式所提供的方法的步骤，或者实现第二方面或第二方面的任何一种可能的实现方式所提供的方法的步骤。
第七方面提供一种报文获取装置，所述装置包括：一个处理器和一个存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行第一方面或第一方面的任何一种可能的实现方式所提供的方法的步骤，或者执行第二方面或第二方面的任何一种可能的实现方式所提供的方法的步骤。
本发明通过实时捕获OT子网中传输的报文，且只将报文文件的摘要放入搜索引擎，而将容量巨大的报文文件本身放入存储系统，并在摘要中添加报文文件在存储系统中的索引，从而在发现某一报文特征存在网络威胁时，根据该报文特征找到对应的摘要，然后根据摘要中的报文文件在存储系统中的索引，在存储系统中查找到对应的报文文件，进而查找到对应的报文，再将该报文的数据载荷存储到搜索引擎，从而使得此后用户直接根据报文特征在搜索引擎中查找到对应报文的数据载荷，无需用户每次都在容量巨大的报文文件中进行搜索、定位，实现了对OT网络中的安全威胁进行快速定位。
附图说明
图1为本发明一实施例提供的报文获取方法流程图；
图2为本发明另一实施例提供的报文获取方法的流程图；
图3为本发明又一实施例提供的报文获取方法流程图；
图4A为本发明一实施例提供的报文获取系统的一种组成方式；
图4B本发明另一实施例提供的报文获取系统的一种组成方式；
图5为本发明一实施例提供的报文获取装置的结构示意图；
图6为本发明另一实施例提供的报文获取装置的结构示意图；
图7为本发明又一实施例提供的报文获取装置的结构示意图；
图8为本发明再一实施例提供的报文获取装置的结构示意图。
其中，附图标记如下：
标号 含义
101～104 步骤
201～202 步骤
301～308 步骤
40 报文获取系统一
41 NSM传感器
42 NSM设备
43 CTH平台一
40’ 报文获取系统二
43’ CTH平台二
50 实施例一的报文获取装置
51 存储处理模块
52 搜索处理模块
53 搜索引擎
60 实施例二的报文获取装置
61 封装及摘要生成模块
62 传输模块
70 实施例三的报文获取装置
71 实施例三的处理器
72 实施例三的存储器
80 实施例四的报文获取装置
81 实施例四的处理器
82 实施例四的存储器
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。
如在本发明的说明书以及所附权利要求书中使用的单数形式的“一”以及“所述”也意图包括复数形式，除非本文内容明确地另行指定。
发明人经过分析发现：对于OT系统，通过设置一个屏障来保护它是不够的，因为随着新技术和互连设备的出现，该“屏障”已经消失。虽然现有的预防系统和工具有助于减少攻击者的机会，并使安全分析师操作起来更有效。但是，由于攻击者会使他们的攻击看起来像正常活动，因此单独的预防系统不足以对付那些知道如何绕过安全和监视工具的攻击者。
另外，随着安全威胁变得越来越复杂和动态化，安全威胁能够绕过安全控制，隐藏在存储器和其他地方中，传统的安全方法(如防病毒、入侵检测和防火墙)不能捕捉有针对性的高级威胁；且，若恶意软件防御工具集中在已知签名上，也不能检测到这些威胁。
综上，发明人认为：对于网络安全技术来说，最关键的不是在攻击发生后对攻击进行调查，而是要不断地寻找那些穿过安全系统的攻击，以及捕捉正在进行中的入侵。
以下对本发明进行详细说明：
图1为本发明一实施例提供的报文获取方法流程图，其具体步骤如下：
步骤101：一个CTH(Cyber Threat Hunting，网际威胁追踪)平台获取一个报文文件，该报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文。
进一步地，CTH平台获取一个报文文件之后、将报文文件存储到一个存储系统中之前进一步包括：对报文文件进行如下之一或组合的检测：对所述报文文件进行入侵检测，检测所述报文文件中是否存在预定义的入侵标识；若未检测到任何异常，则不存储报文文件；否则，执行将报文文件存储到一个存储系统中的动作。
进一步地，CTH平台获取一个报文文件之后，在报文文件或/和报文文件的摘要中，查找预定义的网络威胁相关特征；对于查找到的每一网络威胁相关特征，在一个特征库中查找该网络威胁相关特征的历史活动数据和背景数据，其中，历史活动数据为：具有该网络威胁相关特征的历史网络活动的数据，背景数据为用于识别该网络威胁相关特征对应主体的属性的数据；建立一个数据项，数据项包括网络威胁相关特征及其对应的历史活动数据和背景数据；建立一个数据项列表，将数据项列表添加到搜索引擎中中，以使得能够根据网络威胁相关特征在数据项列表中查找到对应的历史活动数据和背景数据。
在实际应用中，获取一个报文文件包括：将NSM传感器通过TCP连接发来的至少一个报文封装为报文文件，其中，NSM传感器通过TCP连接发来的至少一个报文为NSM传感器实时捕获到的OT网络中的报文，且，当与NSM传感器之间的连接由中断转为恢复时，接收NSM传感器通过TCP连接发来的报文，同时接收NSM传感器通过SFTP连接发来的报文，其中，通过TCP连接发来的报文为：NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：所述NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
步骤102：CTH平台将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，且报文文件的摘要包含报文文件的文件特征以及报文文件包含的每一个报文的报文特征，将报文文件的摘要存储到一个搜索引擎中。
其中，CTH平台获取一个报文文件之后、将报文文件存储到一个存储系统中之前进一步包括：为报文文件生成摘要；报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量，且，报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；或者，报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量和报文文件中包含的会话的数量，且，报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
步骤103：CTH平台接收一个报文的分析请求，该分析请求指示要获取的报文所具有的报文特征，根据分析请求指示的要获取的报文所具有的报文特征，在搜索引擎中查找到对应的摘要。
步骤104：若查找到对应的摘要，则CTH平台根据查找到的摘要中包含的报文文件在存储系统中的索引，在存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文，将查找到的至少一个报文存储到搜索引擎中，以使得此后能够根据该报文特征在搜索引擎中直接查找到对应的报文。
在实际应用中，将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷存储到搜索引擎中，以使得此后能够根据报文特征在搜索引擎中直接查找到对应的报文的数据载荷；或者，将查找到的至少一个报文存储到搜索引擎中为：将查找到的至少一个报文的数据载荷解析后得到的信息存储到搜索引擎中，以使得此后能够根据报文特征在搜索引擎中直接查找到对应的报文解析后的信息。
例如，数据载荷解析后得到的信息是如下结构化的数据：
在实际应用中，报文文件的摘要可进一步包括报文文件包含的每一个报文在报文文件中的索引；且，在查找到的报文文件中查找到对应的至少一个报文之前进一步包括：根据要获取的报文所具有的报文特征，在查找到的摘要中查找到对应报文的索引，根据查找到的索引，在查找到的报文文件中查找到对应的报文。
图2为本发明另一实施例提供的报文获取方法的流程图，其具体步骤如下：
步骤201：NSM(Network Security Monitoring，网络安全监测)设备将实时捕获到的OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，摘要包含报文文件的文件特征以及报文文件包含的每一个报文的报文特征。
其中，报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量，且，报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；或者，报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量和报文文件中包含的会话的数量，且，报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
进一步地，NSM设备将实时捕获到的OT网络中的报文封装成至少一个报文文件之后，对报文文件进行如下之一或组合的检测：对报文文件进行入侵检测，检测报文文件中是否存在预定义的入侵标识；若未检测到任何异常，则不将报文文件发送给CTH(CyberThreat Hunting，网际威胁搜寻)平台，而只将报文文件的摘要发送给CTH平台；否则，将报文文件及其摘要一起发送给CTH平台。
进一步地，NSM设备将实时捕获到的OT网络中的报文封装成至少一个报文文件之前，接收NSM传感器通过TCP(Tranferring Control Protocol，传输控制协议)连接发来的报文，该报文为NSM传感器实时捕获到的OT网络中的报文；且，当NSM设备与NSM传感器之间的连接由中断转为恢复时，NSM设备接收NSM传感器通过TCP连接发来的报文，同时接收NSM传感器通过SFTP(Secure File Transfer Protocol，安全文件传输协议)连接发来的报文，其中，通过TCP连接发来的报文为：NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：NSM传感器在与NSM设备之间的连接中断期间，缓存的实时捕获到的OT网络中的报文。
步骤202：NSM设备将报文文件及其摘要发送给CTH平台，以使得：CTH平台将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，并将报文文件的摘要存储到一个搜索引擎中。
图3为本发明又一实施例提供的报文获取方法流程图，其主要步骤如下：
步骤301：为OT网络中的每个子网分别配置一个或多个NSM sensor(传感器)。
NSM sensor可以是小型的嵌入式设备。
步骤302：NSM sensor收集对应OT子网内传输的报文(Packet)。
具体地，对于任一OT子网，该子网内的所有交换机可以通过端口镜像技术，将自身所有端口接收到的报文和将要发送的报文，都复制一份发送到对应的NSM sensor；
或者，对于任一OT子网，可在该子网内的各交换机的传输链路上配置TAP(分路器)设备，这样流经该传输链路上的所有报文都会经过该TAP设备，该TAP设备将经过自己的所有报文都复制一份发送给该子网对应的NSM sensor。
步骤303：对于每一NSM sensor，该NSM sensor将收集的来自OT子网的报文封装到TCP报文中发送给NSM设备。
在实际应用中，NSM sensor在收集到来自OT子网的报文时，还可以根据预先定义的报文过滤规则，对收集的报文进行过滤，以过滤掉重复的报文等。
进一步地，考虑到NSM sensor与NSM设备之间的连接可能断开，则给出如下处理：
当NSM sensor感知到自身与NSM设备之间的连接中断时，将来自OT子网的报文缓存；当感知到自身与NSM设备之间的连接恢复时，将缓存的报文封装成SFTP报文后通过SFTP连接发送给NSM设备，同时将实时接收到的来自OT子网的报文封装成TCP报文后通过TCP连接发送给NSM设备。
步骤304：NSM设备接收到一NSM sensor发来的TCP报文，从该报文中解析出原始报文。
步骤305：NSM设备将解析出的来自同一NSM sensor的报文打包成PCAP(PacketCapture，报文捕获)文件进行存储，并为每个PCAP文件生成摘要。
为每个PCAP文件生成的摘要可只包括一级摘要(也称为NetFlow)，也可包括一级摘要和二级摘要。其中：
一级摘要的内容包括：PCAP文件中包含的报文的数量，每个报文的报文长度，以及每个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，等等。
二级摘要主要包含会话信息，例如包括：PCAP文件中报文含的会话的数量，每个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在PCAP文件中的索引(如：报文序号)，每个会话的起始时间(即会话的第一个报文的时间戳)和结束时间(即会话的最后一个报文的时间戳)，等等。
进一步地，为了减少NSM设备的存储负担，NSM设备可以对PCAP文件进行如下处理：
一、采用IDS(Intrusion Detection Systems，入侵检测系统)对PCAP文件进行检测，若在PCAP文件中未检测到任何异常，则不存储该PCAP文件，只存储该PCAP文件的摘要，此后只将该摘要发送给CTH平台；若在PCAP文件中检测到异常，则存储该PCAP文件及其摘要，此后将该PCAP文件及其摘要一同发送给CTH平台。
二、采用预定义的过滤器对PCAP文件进行过滤，若PCAP文件通过过滤，则不存储该PCAP文件，只存储该PCAP文件对应的摘要；否则，存储该PCAP文件及其对应的摘要。
例如：过滤器中预先定义了入侵ID，如：IP地址、主机名等。
进一步地，NSM设备也可具备可视化界面，以将来自OT子网的报文的状态如：来自每个OT子网的报文的实时数量等显示给用户。
步骤306：NSM设备将PCAP文件及摘要发送给CTH平台。
NSM设备可对PCAP文件和摘要加密后通过安全通道如：VPN(Virtual PrivateNetwork，虚拟专网)发送给CTH平台，以保证PCAP文件和摘要的安全性。
另外，考虑到NSM设备和CTH平台之间的连接可能中断以及带宽可能紧张，因此，NSM设备上可预留一定的缓存，以支持存储较长时间(例如而不限于，1个月内)的NSM设备发来的数据，当缓存满时，则以最新接收的数据覆盖最老的数据。
当NSM设备和CTH平台之间的连接由中断转为恢复时，NSM设备将自动发送缓存内的数据(PCAP文件和摘要)给CTH平台。
步骤307：CTH平台将PCAP文件存储到分布式文件系统，并在该PCAP文件对应的摘要中添加该PCAP文件在分布式文件系统中的索引，然后将摘要存储到搜索引擎。
具体地，CTH平台在接收到PCAP文件和摘要后，可进一步进行如下处理：
1)在PCAP文件或/和摘要中，查找预定义的网络威胁相关特征；
网络威胁相关特征，如：预定义的与网络威胁相关的IP地址、域名等。
2)对于查找到的每一网络威胁相关特征，在特征数据库中查找该网络威胁相关特征的历史活动数据和背景数据等。
历史活动数据指的是，具有该网络威胁相关特征的历史网络活动的数据，例如：当网络威胁相关特征为IP地址时，历史活动数据包括：该IP地址在过去一段时间内都访问了哪些IP地址，或/和有哪些IP地址访问了该IP地址。
背景数据指的是，识别该网络威胁相关特征对应主体(如：主机)的属性的数据，例如：当网络威胁相关特征为IP地址时，背景数据包括：该IP地址对应的资产名、资产的属性、域名、注册人、地理位置等。
3)根据查找到的该网络威胁相关特征的历史活动数据和背景数据建立该网络威胁相关特征的富化数据表项，将该富化数据表项添加到搜索引擎中的富化表中，以使得用户能够根据网络威胁相关特征在富华表中查找到对应的历史活动数据和背景数据。
例如：预定义的网络威胁相关特征包含了一内网IP地址，则若在PCAP文件和摘要中查找到了该内网IP地址，则在特征数据库中查找该内网IP地址对应的历史活动数据(如：是否被扫描过、是否对外发出过连接请求等)和背景数据(如：查找该内网IP地址对应的资产名、资产的属性等)。最后将该内网IP地址以及查询得到的所有数据构成一条富化数据表项，并添加到搜索引擎中的富化表中。
例如：预定义的网络威胁相关特征包含了一外网IP地址，则若在PCAP文件和摘要中查找到了该外网IP地址，则在特征数据库中查找该外网IP地址对应的历史活动数据(如：查找该外网IP地址在历史上还访问过哪些内网IP地址等)和背景数据(如：通过DNS查询获得该外网IP地址的域名、通过whois查询获得该域名是谁注册的、通过Geo-IP查询获得该外网IP地址的地理位置等)。最后将该外网IP地址以及查询得到的所有数据构成一条富化数据表项，并添加到搜索引擎中的富化表中。
步骤308：当用户发现某一报文特征存在网络威胁时，向搜索引擎输入该报文特征，搜索引擎根据该报文特征查找到对应的摘要，根据摘要中的PCAP文件在分布式文件系统中的索引，在分布式文件系统中查找到对应的PCAP文件，根据报文标识在该PCAP文件中查找到对应的至少一个报文，对该至少一个报文进行解析，将得到的该至少一个报文的数据载荷保存到搜索引擎中，此后用户就能够根据该报文特征在搜索引擎中直接查找到对应的报文的数据载荷。
进一步地，CTH平台也可提供可视化界面，以将OT子网的报文的统计信息、OT子网可能存在的网络威胁信息(如：存在网络威胁的报文内容)等等显示给用户。
在实际应用中，步骤305中，NSM设备也可不为PCAP文件生成摘要，步骤306中，NSM设备只将PCAP文件发送给CTH平台，步骤307中，CTH平台接收到NSM设备发来的PCAP文件后，再为每个PCAP文件生成摘要。
图4A为本发明一实施例提供的报文获取系统40的一种组成方式，其主要包括：NSM传感器41、NSM设备42和CTH平台43。其中，NSM传感器41、NSM设备42和CTH平台43实现的功能如步骤301-308中所述。
在实际应用中，NSM设备的功能也可合并到CTH平台上实现。图4B为本发明另一实施例提供的报文获取系统40’的一种组成方式，其主要包括：NMS传感器41和CTH平台43’。其中，CTH平台43’实现的功能如步骤101-104所述。
图5为本发明一实施例提供的报文获取装置50的结构示意图，该装置位于CTH平台上，该装置主要包括：存储处理模块51和搜索处理模块52，其中：
存储处理模块51，用于获取一个报文文件，报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文；将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，且报文文件的摘要包含报文文件的文件特征以及报文文件包含的至少一个报文中每一个的报文特征；将报文文件的摘要存储到一个搜索引擎53中。
搜索处理模块52，用于接收一个报文的分析请求，分析请求指示要获取的报文所具有的报文特征；根据分析请求指示的要获取的报文所具有的报文特征，在搜索引擎53中查找到对应的摘要；若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在存储系统中的索引，在存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；将查找到的至少一个报文存储到搜索引擎53中，以使得此后能够根据报文特征在搜索引擎53中直接查找到对应的报文。
进一步地，搜索处理模块52将查找到的至少一个报文存储到搜索引擎53中为：将查找到的至少一个报文的数据载荷存储到搜索引擎53中，以使得此后能够根据报文特征在搜索引擎53中直接查找到对应的报文的数据载荷；或者，搜索处理模块52将查找到的至少一个报文存储到搜索引擎53中为：将查找到的至少一个报文的数据载荷解析后得到的信息存储到搜索引擎53中，以使得此后能够根据报文特征在搜索引擎53中直接查找到对应的报文解析后的信息。
进一步地，存储处理模块51存储到搜索引擎53中的报文文件的摘要进一步包括所述报文文件包含的至少一个报文中每一个报文在所述报文文件中的索引；且，搜索处理模块52在查找到的报文文件中查找到对应的至少一个报文之前进一步用于，根据要获取的报文所具有的报文特征，在查找到的摘要中查找到对应报文的索引，根据查找到的索引，在查找到的报文文件中查找到对应的报文。
进一步地，存储处理模块51获取一个报文文件之后、将报文文件存储到一个存储系统中之前进一步包括：为报文文件生成摘要；且，报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量，且，报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；或者，报文文件的摘要包含的报文文件的文件特征包括：报文文件中包含的报文的数量和报文文件中包含的会话的数量，且，报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
进一步地，存储处理模块51获取一个报文文件之后、将报文文件存储到一个存储系统中之前进一步包括：对报文文件进行如下之一或组合的检测：对报文文件进行入侵检测；检测报文文件中是否存在预定义的入侵标识；若未检测到任何异常，则不存储报文文件；否则，执行将报文文件存储到一个存储系统中的动作。
进一步地，存储处理模块51获取一个报文文件之后进一步包括：在报文文件或/和报文文件的摘要中，查找预定义的网络威胁相关特征；对于查找到的每一网络威胁相关特征，在一个特征库中查找该网络威胁相关特征的历史活动数据和背景数据，历史活动数据为：具有该网络威胁相关特征的历史网络活动的数据，背景数据为用于识别该网络威胁相关特征对应主体的属性的数据；建立一个数据项，数据项包括网络威胁相关特征及其对应的历史活动数据和背景数据；建立一个数据项列表，将数据项列表添加到搜索引擎53中，以使得能够根据网络威胁相关特征在数据项列表中查找到对应的历史活动数据和背景数据。
进一步地，存储处理模块51获取一个报文文件包括：将NSM传感器通过传输控制协议TCP连接发来的至少一个报文封装为报文文件，其中，NSM传感器通过TCP连接发来的至少一个报文为NSM传感器实时捕获到的OT网络中的报文，且，当与NSM传感器之间的连接由中断转为恢复时，接收NSM传感器通过TCP连接发来的报文，同时接收NSM传感器通过安全文件传输协议SFTP连接发来的报文，其中，通过TCP连接发来的报文为：NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：NSM传感器在连接中断期间，缓存的实时捕获到的OT网络中的报文。
图6为本发明另一实施例提供的报文获取装置60的结构示意图，该装置位于NSM设备上，该装置主要包括：封装及摘要生成模块61和传输模块62，其中：
封装及摘要生成模块61，用于将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，摘要包含报文文件的文件特征以及报文文件包含的每一个报文的报文特征。
传输模块62，用于发送封装及摘要生成模块61封装得到的报文文件以及生成的摘要，以使得：报文文件及其摘要的接收者(如：CTH平台)将报文文件存储到一个存储系统中，并在报文文件的摘要中添加报文文件在存储系统中的索引，并将报文文件的摘要存储到一个搜索引擎中。
进一步地，传输模块62发送封装及摘要生成模块61封装得到的报文文件以及生成的摘要之前进一步用于，对报文文件进行如下之一或组合的检测：对报文文件进行入侵检测，检测报文文件中是否存在预定义的入侵标识；若未检测到任何异常，则不发送报文文件，而只发送报文文件的摘要；否则，一起发送报文文件及其摘要。
进一步地，封装及摘要生成模块61将实时捕获到的OT网络中的报文封装成至少一个报文文件之前进一步用于，接收NSM传感器通过TCP连接发来的报文，该报文为NSM传感器实时捕获到的OT网络中的报文；且，当与NSM传感器之间的连接由中断转为恢复时，接收NSM传感器通过TCP连接发来的报文，同时接收NSM传感器通过SFTP连接发来的报文，其中，通过TCP连接发来的报文为：NSM传感器实时捕获到的OT网络中的报文，通过SFTP连接发来的报文为：NSM传感器在与NSM设备之间的连接中断期间，缓存的实时捕获到的OT网络中的报文。
图7为本发明又一实施例提供的报文获取装置的结构示意图，该装置主要包括：处理器71和存储器72，其中，
存储器72中存储有可被处理器71执行的应用程序，用于使得处理器71执行如步骤101-104所述的报文获取方法的步骤；或者，执行如步骤301-308所述的报文获取方法中CTH平台执行的步骤。
本发明还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被一处理器执行时实现如步骤101-104所述的报文获取方法的步骤，或者，执行如步骤301-308所述的报文获取方法中CTH平台执行的步骤。
图8为本发明再一实施例提供的报文获取装置的结构示意图，该装置主要包括：处理器81和存储器82，其中：存储器82中存储有可被处理器81执行的应用程序，用于使得处理器81执行如步骤201-202所述的报文获取方法的步骤；或者，执行如步骤301-308所述的报文获取方法中NSM设备执行的步骤。
本发明还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被一处理器执行时实现如步骤201-202所述的报文获取方法的步骤，或者，执行如步骤301-308所述的报文获取方法中NSM设备执行的步骤。
本发明的有益技术效果如下：
一、只将报文文件的摘要放入搜索引擎，而将容量巨大的包含了OT子网中传输报文的报文文件本身放入存储系统，在某一报文特征存在网络威胁时，才将对应报文从文件系统移入搜索引擎，实现了在OT网络中进行网络威胁的快速定位。
二、通过对报文文件进行入侵检测或/和入侵ID检测，不对未检测到异常的报文文件进行存储，节省了存储空间。
三、通过对报文文件或/和摘要进行网络威胁相关特征提取，并查找网络威胁相关特征的历史活动数据和背景数据，形成数据项，以供网络安全分析师进行参考。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种报文获取方法，其特征在于，该方法包括：
获取一个报文文件，所述报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文；
将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，且所述报文文件的摘要包含所述报文文件的文件特征以及所述报文文件包含的至少一个报文中每一个的报文特征；
将所述报文文件的摘要存储到一个搜索引擎中；
接收一个报文的分析请求，所述分析请求指示要获取的报文所具有的报文特征；
根据所述分析请求指示的要获取的报文所具有的报文特征，在所述搜索引擎中查找到对应的摘要；
若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在所述存储系统中的索引，在所述存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；
将查找到的至少一个报文存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文。
2.根据权利要求1所述的方法，其特征在于，所述将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文的数据载荷；
或者，所述将查找到的至少一个报文存储到所述搜索引擎中为：将查找到的至少一个报文的数据载荷解析后得到的信息存储到所述搜索引擎中，以使得此后能够根据所述报文特征在所述搜索引擎中直接查找到对应的报文解析后的信息。
3.根据权利要求1或2所述的方法，其特征在于，所述报文文件的摘要进一步包括所述报文文件包含的至少一个报文中每一个报文在所述报文文件中的索引；
且，所述在查找到的报文文件中查找到对应的至少一个报文之前进一步包括：
根据所述要获取的报文所具有的报文特征，在查找到的摘要中查找到对应报文的索引，根据查找到的索引，在查找到的报文文件中查找到对应的报文。
4.根据权利要求1至3任一所述的方法，其特征在于，所述获取一个报文文件之后、将所述报文文件存储到一个存储系统中之前进一步包括：为所述报文文件生成摘要；
且，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；
或者，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量和所述报文文件中包含的会话的数量，且，所述报文文件包含的至少一个报文中每一个的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
5.根据权利要求1至4任一所述的方法，其特征在于，所述获取一个报文文件之后进一步包括：
在所述报文文件或/和所述报文文件的摘要中，查找预定义的网络威胁相关特征；
对于查找到的每一网络威胁相关特征，在一个特征库中查找该网络威胁相关特征的历史活动数据和背景数据，所述历史活动数据为：具有该网络威胁相关特征的历史网络活动的数据，所述背景数据为用于识别该网络威胁相关特征对应主体的属性的数据；
建立一个数据项，所述数据项包括网络威胁相关特征及其对应的历史活动数据和背景数据；
建立一个数据项列表，将所述数据项列表添加到搜索引擎中，以使得能够根据网络威胁相关特征在所述数据项列表中查找到对应的历史活动数据和背景数据。
6.一种报文获取方法，其特征在于，该方法包括：
将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，所述摘要包含所述报文文件的文件特征以及所述报文文件包含的每一个报文的报文特征；
发送所述报文文件及其摘要，以使得：所述报文文件及其摘要的接收者将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，并将所述报文文件的摘要存储到一个搜索引擎中。
7.根据权利要求6所述的方法，其特征在于，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量，且，所述报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳；
或者，所述报文文件的摘要包含的所述报文文件的文件特征包括：所述报文文件中包含的报文的数量和所述报文文件中包含的会话的数量，且，所述报文文件包含的每一个报文的报文特征包括：每一个报文的源和目的IP地址、源和目的端口号、协议类型、时间戳，每一个会话的源和目的IP地址、源和目的端口号、协议类型，以及每个会话包含的所有报文在报文文件中的索引，每个会话的起始时间和结束时间。
8.根据权利要求6或7所述的方法，其特征在于，所述将实时捕获到的OT网络中的报文封装成至少一个报文文件之后进一步包括：
对所述报文文件进行如下之一或组合的检测：
对所述报文文件进行入侵检测；检测所述报文文件中是否存在预定义的入侵标识；
若未检测到任何异常，则不发送所述报文文件，而只发送所述报文文件的摘要；否则，一起发送所述报文文件及其摘要。
9.一种报文获取装置(50)，其特征在于，该装置包括：
一个存储处理模块(51)，用于获取一个报文文件，所述报文文件包含了实时捕获到的运营技术OT网络中的至少一个报文；将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，且所述报文文件的摘要包含所述报文文件的文件特征以及所述报文文件包含的至少一个报文中每一个的报文特征；将所述报文文件的摘要存储到一个搜索引擎(53)中；
一个搜索处理模块(52)，用于接收一个报文的分析请求，所述分析请求指示要获取的报文所具有的报文特征；根据所述分析请求指示的要获取的报文所具有的报文特征，在所述搜索引擎(53)中查找到对应的摘要；若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在所述存储系统中的索引，在所述存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；将查找到的至少一个报文存储到所述搜索引擎(53)中，以使得此后能够根据所述报文特征在所述搜索引擎(53)中直接查找到对应的报文。
10.一种报文获取装置(60)，其特征在于，该装置包括：
一个封装及摘要生成模块(61)，用于将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，所述摘要包含所述报文文件的文件特征以及所述报文文件包含的每一个的报文特征；
一个传输模块(62)，用于发送所述封装及摘要生成模块封装得到的报文文件以及生成的摘要，以使得：所述报文文件及其摘要的接收者将所述报文文件存储到一个存储系统中，并在所述报文文件的摘要中添加所述报文文件在所述存储系统中的索引，并将所述报文文件的摘要存储到一个搜索引擎(53)中。
11.一种报文获取系统(40)，其特征在于，该系统包括：
第一装置(60)，用于将实时捕获到的运营技术OT网络中的报文封装成至少一个报文文件，并为各报文文件生成摘要，所述摘要包含所述报文文件的文件特征以及所述报文文件包含的每一个的报文特征，发送所述报文文件及其摘要给第二装置(50)；
第二装置(50)，用于接收第一装置(60)发来的所述报文文件及其摘要，将所述报文文件存储到一个存储系统中，并在所述摘要中添加所述报文文件在所述存储系统中的索引，将所述报文文件的摘要存储到一个搜索引擎(53)中；接收一个报文的分析请求，所述分析请求指示要获取的报文所具有的报文特征；根据所述分析请求指示的要获取的报文所具有的报文特征，在所述搜索引擎(53)中查找到对应的摘要；若查找到对应的摘要，则根据查找到的摘要中包含的报文文件在所述存储系统中的索引，在所述存储系统中查找到对应的报文文件，并在查找到的报文文件中查找到对应的至少一个报文；将查找到的至少一个报文存储到所述搜索引擎(53)中，以使得此后能够根据所述报文特征在所述搜索引擎(53)中直接查找到对应的报文。
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一处理器执行时实现如权利要求1至5中任一项所述的报文获取方法的步骤，或者实现如权利要求6至8中任一项所述的报文获取方法的步骤。
13.一种报文获取装置(70)，其特征在于，所述装置包括：一个处理器(71)和一个存储器(72)；
所述存储器(72)中存储有可被所述处理器(71)执行的应用程序，用于使得所述处理器(71)执行如权利要求1至5中任一项所述的报文获取方法的步骤，或者实现如权利要求6至8中任一项所述的报文获取方法的步骤。
CN201711449234.4A 2017-12-27 2017-12-27 报文获取方法、装置、系统及计算机存储介质 Active CN109981529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711449234.4A CN109981529B (zh) 2017-12-27 2017-12-27 报文获取方法、装置、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711449234.4A CN109981529B (zh) 2017-12-27 2017-12-27 报文获取方法、装置、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN109981529A true CN109981529A (zh) 2019-07-05
CN109981529B CN109981529B (zh) 2021-11-12

Family

ID=67072631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711449234.4A Active CN109981529B (zh) 2017-12-27 2017-12-27 报文获取方法、装置、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109981529B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885621A (zh) * 2020-07-10 2020-11-03 深圳创维数字技术有限公司 无线报文抓取方法、系统、终端和存储介质
CN112905852A (zh) * 2021-03-04 2021-06-04 睿石网云(杭州)科技有限公司 一种基于会话索引的应用性能报文存储装置
CN116055420A (zh) * 2022-12-07 2023-05-02 蔚来汽车科技(安徽)有限公司 整合办公网络与工业网络后的信息传输方法及控制装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411209A (zh) * 2002-03-29 2003-04-16 华为技术有限公司 一种检测并监控恶意用户主机攻击的方法
US20050125807A1 (en) * 2003-12-03 2005-06-09 Network Intelligence Corporation Network event capture and retention system
US7818786B2 (en) * 2005-08-19 2010-10-19 Electronics And Telecommunications Research Institute Apparatus and method for managing session state
CN102023989A (zh) * 2009-09-23 2011-04-20 阿里巴巴集团控股有限公司 一种信息检索方法及其系统
US20120197856A1 (en) * 2011-01-28 2012-08-02 Cisco Technology, Inc. Hierarchical Network for Collecting, Aggregating, Indexing, and Searching Sensor Data
US20120197852A1 (en) * 2011-01-28 2012-08-02 Cisco Technology, Inc. Aggregating Sensor Data
EP2235651A4 (en) * 2008-01-23 2013-01-02 Microsoft Corp DISTRIBUTED INDEXING OF FILE CONTENT
CN103324615A (zh) * 2012-03-19 2013-09-25 哈尔滨安天科技股份有限公司 基于搜索引擎优化的钓鱼网站探测方法及系统
CN103944711A (zh) * 2014-02-17 2014-07-23 国家超级计算深圳中心 一种云存储密文检索方法及其系统
CN103973645A (zh) * 2013-01-30 2014-08-06 华为技术有限公司 一种数据传输方法和相关装置
CN104468615A (zh) * 2014-12-25 2015-03-25 西安电子科技大学 基于数据共享的文件访问和修改权限控制方法
CN104978522A (zh) * 2014-04-10 2015-10-14 北京启明星辰信息安全技术有限公司 一种检测恶意代码的方法和装置
CN107368527A (zh) * 2017-06-09 2017-11-21 东南大学 基于数据流的多属性索引方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411209A (zh) * 2002-03-29 2003-04-16 华为技术有限公司 一种检测并监控恶意用户主机攻击的方法
US20050125807A1 (en) * 2003-12-03 2005-06-09 Network Intelligence Corporation Network event capture and retention system
US7818786B2 (en) * 2005-08-19 2010-10-19 Electronics And Telecommunications Research Institute Apparatus and method for managing session state
EP2235651A4 (en) * 2008-01-23 2013-01-02 Microsoft Corp DISTRIBUTED INDEXING OF FILE CONTENT
CN102023989A (zh) * 2009-09-23 2011-04-20 阿里巴巴集团控股有限公司 一种信息检索方法及其系统
US20120197852A1 (en) * 2011-01-28 2012-08-02 Cisco Technology, Inc. Aggregating Sensor Data
US20120197856A1 (en) * 2011-01-28 2012-08-02 Cisco Technology, Inc. Hierarchical Network for Collecting, Aggregating, Indexing, and Searching Sensor Data
CN103324615A (zh) * 2012-03-19 2013-09-25 哈尔滨安天科技股份有限公司 基于搜索引擎优化的钓鱼网站探测方法及系统
CN103973645A (zh) * 2013-01-30 2014-08-06 华为技术有限公司 一种数据传输方法和相关装置
CN103944711A (zh) * 2014-02-17 2014-07-23 国家超级计算深圳中心 一种云存储密文检索方法及其系统
CN104978522A (zh) * 2014-04-10 2015-10-14 北京启明星辰信息安全技术有限公司 一种检测恶意代码的方法和装置
CN104468615A (zh) * 2014-12-25 2015-03-25 西安电子科技大学 基于数据共享的文件访问和修改权限控制方法
CN107368527A (zh) * 2017-06-09 2017-11-21 东南大学 基于数据流的多属性索引方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885621A (zh) * 2020-07-10 2020-11-03 深圳创维数字技术有限公司 无线报文抓取方法、系统、终端和存储介质
CN111885621B (zh) * 2020-07-10 2023-06-06 深圳创维数字技术有限公司 无线报文抓取方法、系统、终端和存储介质
CN112905852A (zh) * 2021-03-04 2021-06-04 睿石网云(杭州)科技有限公司 一种基于会话索引的应用性能报文存储装置
CN116055420A (zh) * 2022-12-07 2023-05-02 蔚来汽车科技(安徽)有限公司 整合办公网络与工业网络后的信息传输方法及控制装置

Also Published As

Publication number Publication date
CN109981529B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Pilli et al. Network forensic frameworks: Survey and research challenges
US10015188B2 (en) Method for mitigation of cyber attacks on industrial control systems
Yin et al. VisFlowConnect: netflow visualizations of link relationships for security situational awareness
Khan et al. Software-defined network forensics: Motivation, potential locations, requirements, and challenges
Hussein et al. SDN security plane: An architecture for resilient security services
CN104115463A (zh) 用于处理网络元数据的流式传输方法和系统
CN101217547B (zh) 基于开源内核的无状态的泛洪请求攻击过滤方法
CN109587156A (zh) 异常网络访问连接识别与阻断方法、系统、介质和设备
CN109981529A (zh) 报文获取方法、装置、系统及计算机存储介质
Kaushik et al. Network forensic system for port scanning attack
CN112688932A (zh) 蜜罐生成方法、装置、设备及计算机可读存储介质
CN110912887B (zh) 一种基于Bro的APT监测系统和方法
CN112333191A (zh) 违规网络资产检测与访问阻断方法、装置、设备及介质
Shrivastava et al. Network forensics: Today and tomorrow
CN115664833B (zh) 基于局域网安全设备的网络劫持检测方法
Buric et al. Challenges in network forensics
CN111049853A (zh) 一种基于计算机网络的安全认证系统
Avasthi Network forensic analysis with efficient preservation for SYN attack
Dhangar et al. Analysis of proposed intrusion detection system
CN114553546A (zh) 基于网络应用的报文抓取的方法和装置
CN103368972A (zh) 基于诱导分析的高级网络攻击检测分析方法及其系统
Sourour et al. Network security alerts management architecture for signature-based intrusions detection systems within a NAT environment
Ezenwe et al. Mitigating Denial of Service Attacks with Load Balancing
Khamkar et al. Low rate DDoS Attack Identification and Defense using SDN based on Machine Learning Method
KR20120006250A (ko) 디도스 발생 탐지분석 및 표시를 위한 통합보안관리시스템 및 이에 의한 디도스 발생탐지분석 및 표시방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant