CN112769774B - 数据摆渡系统及方法 - Google Patents

数据摆渡系统及方法 Download PDF

Info

Publication number
CN112769774B
CN112769774B CN202011558997.4A CN202011558997A CN112769774B CN 112769774 B CN112769774 B CN 112769774B CN 202011558997 A CN202011558997 A CN 202011558997A CN 112769774 B CN112769774 B CN 112769774B
Authority
CN
China
Prior art keywords
network
log
network security
flow data
security log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011558997.4A
Other languages
English (en)
Other versions
CN112769774A (zh
Inventor
张实君
李硕
贺惠民
来骥
彭柏
徐相森
曾婧
苏丹
那琼澜
李信
陈重韬
吴佳
辛霆麟
刘超
吕冰
李欣怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011558997.4A priority Critical patent/CN112769774B/zh
Publication of CN112769774A publication Critical patent/CN112769774A/zh
Application granted granted Critical
Publication of CN112769774B publication Critical patent/CN112769774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据摆渡系统及方法，该方法包括：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明实现了外网流量数据向内网的安全传输，并能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。

Description

数据摆渡系统及方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种数据摆渡系统及方法。
背景技术
由于企业内网和企业外网之间的网络连接存在安全入侵威胁的问题，企业内网和企业外网之间会增加网闸等设备，用以对不同的网络进行隔离。但是网络隔离后，内外网之间无法建立网络连接，只能基于网闸设备实现简单的文件传输，无法满足大数据场景下的流量传输。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，该系统包括：
流量探针、日志采集器、外网服务器、隔离装置、内网服务器和态势感知与安全运营平台；
其中，流量探针、日志采集器和外网服务器部署在外网环境，内网服务器和态势感知与安全运营平台部署在内网环境，隔离装置将外网环境与内网环境隔离；
流量探针，用于获得外网的网络流量数据；
日志采集器，用于采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
外网服务器，用于将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
隔离装置，用于将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；
内网服务器，用于对加密后的文本格式的网络流量数据和网络安全日志解密；
态势感知与安全运营平台，用于根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。
本发明实施例提供一种数据摆渡方法，该方法应用于上述数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，该方法包括：
流量探针获得外网的网络流量数据；
日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；
内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；
态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据摆渡方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据摆渡方法的计算机程序。
本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中数据摆渡系统结构的示意图；
图2为本发明实施例中数据摆渡系统整体框架的示意图；
图3为本发明实施例中数据摆渡方法流程的示意图；
图4为本发明实施例中数据摆渡方法另一流程的示意图；
图5为图3中步骤302的具体流程的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、方法或计算机程序产品。因此，本发明公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
为了解决现有技术在只能基于网闸设备实现简单的文件传输，无法满足大数据场景下的流量传输的技术问题，本发明实施例提供一种数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，图1为本发明实施例中数据摆渡系统结构的示意图，如图1所示，该系统包括：
流量探针01、日志采集器02、外网服务器03、隔离装置04、内网服务器05和态势感知与安全运营平台06；
其中，流量探针01、日志采集器02和外网服务器03部署在外网环境，内网服务器05和态势感知与安全运营平台06部署在内网环境，隔离装置04将外网环境与内网环境隔离；
流量探针01，用于获得外网的网络流量数据；
日志采集器02，用于采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
外网服务器03，用于将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
隔离装置04，用于将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器05；
内网服务器05，用于对加密后的文本格式的网络流量数据和网络安全日志解密；
态势感知与安全运营平台06，用于根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。
如图1所示，本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。
在一个实施例中，日志采集器02具体用于：
根据网络安全日志，确定网络安全日志的类型；
根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；
根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。
具体实施时，图2为本发明实施例中数据摆渡系统整体框架的示意图，如图2所示，为了收集外网环境中安全设备的网络流量数据，本发明实施例部署了流量探针01，用于获得外网的海量的网络流量数据，其中，网络流量数据可以是TCP流量数据，用于反映数据的传输信息；为了满足在大流量高并发的安全日志采集的场景，本发明实施例部署了日志采集器02，用于采集海量的安全日志，并根据日志解析规则解析、富化网络安全日志，具体包括：首先将多种类型的网络安全日志的日志解析规则预先存储在规则库中，接着根据网络安全日志，确定网络安全日志的类型，并在规则库中查询网络安全日志的类型对应的日志解析规则，最后根据网络安全日志的类型对应的日志解析规则，对网络安全日志进行相应的解析和富化处理。
在一个实施例中，流量探针01还用于：将外网的网络流量数据分布式存储至外网KAFKA；
日志采集器02还用于：将解析后的网络安全日志分布式存储至外网KAFKA；
外网服务器03还用于，从外网KAFKA中读取网络流量数据和解析后的网络安全日志。
为了实现海量数据的分布式存储，本发明实施例在外网服务器03部署了外网KAFKA(分布式消息发布订阅系统)，流量探针01可以将外网的网络流量数据分布式存储至外网KAFKA，日志采集器02也可以将解析后的网络安全日志分布式存储至外网KAFKA。外网KAFKA接收到网络流量数据和解析后的网络安全日志后，通过监听9092/TCP端口，创建与流量探针01和日志采集器02匹配的TOPIC，存储海量的网络流量数据和网络安全日志，便于后续高并发处理。
外网服务器03中部署有日志解析程序，日志解析程序可以对外网KAFKA中存储的各种类型的网络流量数据和解析后的网络安全日志，基于富化规则进行进一步的富化处理，由于隔离装置04只能传输文件的特性，日志解析程序还可以将网络流量数据和解析后的网络安全日志转换为文本格式，并基于base64加密，将加密后的文本格式的网络流量数据和网络安全日志传输至隔离装置04，这样就基于隔离装置的传输特性，实现了外网流量数据向内网的安全传输，并且转换为文本格式的网络流量数据和解析后的网络安全日志为静态数据，不会对内网的网络安全造成威胁。
隔离装置04可以是网闸，隔离装置04可以基于自身的传输特性，将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器05对应的文件目录中，便于后续的解析。
在一个实施例中，内网服务器05还用于：将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA；
态势感知与安全运营平台06，用于从内网KAFKA中读取解密后的网络流量数据和网络安全日志。
具体实施时，内网服务器05中部署有日志解析程序，用于接收隔离装置04发送的加密后的文本格式的网络流量数据和网络安全日志，对文件解码，并基于内网的相关富化规则进行富化处理，态势感知与安全运营平台06中部署有内网KAFKA，内网服务器05还可以将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA，态势感知与安全运营平台06可以在一定的时间和空间范围内，对内网环境的安全状态以及威胁环境的感知，并从内网KAFKA中读取解密后的网络流量数据和网络安全日志，解析后存储至ES和Hive中，通过关联分析引擎按照关联规则进行对解密后的网络流量数据和网络安全日志进行解析，产生告警数据，进行外网的网络安全分析和告警，实现对外网流量数据的潜在安全隐患的预警。
基于同一发明构思，本发明实施例中还提供了一种数据摆渡方法，如下面的实施例。由于数据摆渡方法解决问题的原理与数据摆渡系统相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供一种数据摆渡方法，该方法应用于上述数据摆渡系统，用于实现内网和外网之间流量数据的安全传输，图3为本发明实施例中数据摆渡方法流程的示意图，如图3所示，该方法包括：
步骤301：流量探针获得外网的网络流量数据；
步骤302：日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
步骤303：外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
步骤304：隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；
步骤305：内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；
步骤306：态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警。
图4为本发明实施例中数据摆渡方法另一流程的示意图，如图4所示，在一个实施例中，该方法还可以包括：
步骤401：流量探针将外网的网络流量数据分布式存储至外网KAFKA，日志采集器将解析后的网络安全日志分布式存储至外网KAFKA；
步骤402：外网服务器从外网KAFKA中读取网络流量数据和解析后的网络安全日志。
如图4所示，在一个实施例中，该方法还可以包括：
步骤403：内网服务器将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA；
步骤404：态势感知与安全运营平台从内网KAFKA中读取解密后的网络流量数据和网络安全日志。
图5为图3中步骤302的具体流程的示意图，如图5所示，在一个实施例中，步骤301：日志采集器接收网络安全日志，根据日志解析规则解析网络安全日志，可以包括：
步骤501：根据网络安全日志，确定网络安全日志的类型；
步骤502：根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；
步骤503：根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据摆渡方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据摆渡方法的计算机程序。
下面举一个具体的例子，以便于理解本发明如何实施。
首先，按照图2所示的方式布设数据摆渡系统，接着执行如下步骤：
第一步：流量探针采集外网海量的网络流量数据，日志采集器采集外网海量的安全日志，并根据网络安全日志的类型，从规则库中查询网络安全日志的类型对应的日志解析规则，对网络安全日志进行解析和富化处理；
第二步：流量探针将外网的网络流量数据分布式存储至外网KAFKA，日志采集器将解析后的网络安全日志分布式存储至外网KAFKA；
第三步：外网服务器中的日志解析程序对外网KAFKA中存储的各种类型的网络流量数据和解析后的网络安全日志，基于富化规则进行进一步的富化处理，并将网络流量数据和解析后的网络安全日志转换为文本格式，基于base64加密，将加密后的文本格式的网络流量数据和网络安全日志传输至隔离装置；
第四步：隔离装置基于自身的传输特性，将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器对应的文件目录中；
第五步：内网服务器中的日志解析程序接收隔离装置发送的加密后的文本格式的网络流量数据和网络安全日志，对文件解码，并基于内网的相关富化规则进行富化处理，将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA；
第六步：态势感知与安全运营平台从内网KAFKA中读取解密后的网络流量数据和网络安全日志，解析后存储至ES和Hive中，通过关联分析引擎按照关联规则进行对解密后的网络流量数据和网络安全日志进行解析，产生告警数据。
综上所述，本发明实施例通过：流量探针获得外网的网络流量数据；日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警，本发明基于隔离装置，通过对外网的网络流量数据和网络安全日志进行格式转换和加密解密，实现了外网流量数据向内网的安全传输，并在内网实现了对外网流量数据的分析和告警，能够预警外网流量数据的潜在安全隐患，满足了内网网络安全和流量数据传输的双重需求。
此外，本发明实施例中的流量探针、日志采集器、外网服务器、内网服务器和态势感知与安全运营平台以及KAFKA等均为基于大数据场景的设备，可以实现海量数据的安全传输。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据摆渡系统，其特征在于，包括：流量探针、日志采集器、外网服务器、隔离装置、内网服务器和态势感知与安全运营平台；
其中，流量探针、日志采集器和外网服务器部署在外网环境，内网服务器和态势感知与安全运营平台部署在内网环境，隔离装置将外网环境与内网环境隔离；
流量探针，用于获得外网的网络流量数据；
日志采集器，用于采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
外网服务器，用于将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
隔离装置，用于将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；
内网服务器，用于对加密后的文本格式的网络流量数据和网络安全日志解密；
态势感知与安全运营平台，用于根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警；
流量探针还用于：将外网的网络流量数据分布式存储至外网KAFKA；
日志采集器还用于：将解析后的网络安全日志分布式存储至外网KAFKA；
外网服务器还用于，从外网KAFKA中读取网络流量数据和解析后的网络安全日志。
2.如权利要求1所述的系统，其特征在于，日志采集器具体用于：
根据网络安全日志，确定网络安全日志的类型；
根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；
根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。
3.如权利要求1所述的系统，其特征在于，内网服务器还用于：将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA；
态势感知与安全运营平台还用于：从内网KAFKA中读取解密后的网络流量数据和网络安全日志。
4.一种数据摆渡方法，其特征在于，该方法应用于权利要求1-3任一项所述数据摆渡系统，包括：
流量探针获得外网的网络流量数据；
日志采集器采集外网的网络安全日志，根据日志解析规则解析网络安全日志；
外网服务器将网络流量数据和解析后的网络安全日志转换为文本格式并加密；
隔离装置将加密后的文本格式的网络流量数据和网络安全日志传输至内网服务器；
内网服务器对加密后的文本格式的网络流量数据和网络安全日志解密；
态势感知与安全运营平台根据解密后的网络流量数据和网络安全日志，进行外网的网络安全分析和告警；
还包括：
流量探针将外网的网络流量数据分布式存储至外网KAFKA；
日志采集器将解析后的网络安全日志分布式存储至外网KAFKA；
外网服务器从外网KAFKA中读取网络流量数据和解析后的网络安全日志。
5.如权利要求4所述的方法，其特征在于，日志采集器接收网络安全日志，根据日志解析规则解析网络安全日志，包括：
根据网络安全日志，确定网络安全日志的类型；
根据网络安全日志的类型，在规则库中查询网络安全日志的类型对应的日志解析规则，其中，规则库中存储有多种网络安全日志的日志解析规则；
根据网络安全日志的类型对应的日志解析规则，解析网络安全日志。
6.如权利要求4所述的方法，其特征在于，还包括：
内网服务器还将解密后的网络流量数据和网络安全日志分布式存储至内网KAFKA；
态势感知与安全运营平台还从内网KAFKA中读取解密后的网络流量数据和网络安全日志。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至6任一所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求4至6任一所述方法的计算机程序。
CN202011558997.4A 2020-12-24 2020-12-24 数据摆渡系统及方法 Active CN112769774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011558997.4A CN112769774B (zh) 2020-12-24 2020-12-24 数据摆渡系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011558997.4A CN112769774B (zh) 2020-12-24 2020-12-24 数据摆渡系统及方法

Publications (2)

Publication Number Publication Date
CN112769774A CN112769774A (zh) 2021-05-07
CN112769774B true CN112769774B (zh) 2023-04-18

Family

ID=75694293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011558997.4A Active CN112769774B (zh) 2020-12-24 2020-12-24 数据摆渡系统及方法

Country Status (1)

Country Link
CN (1) CN112769774B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852624A (zh) * 2021-09-23 2021-12-28 杭州安恒信息技术股份有限公司 一种数据跨网传输方法、装置及其计算机介质
CN114338175B (zh) * 2021-12-29 2023-06-30 中国联合网络通信集团有限公司 数据收集管理系统及数据收集管理方法
CN117827980B (zh) * 2024-03-06 2024-05-10 大汉软件股份有限公司 一种基于分布式链路的es数据跨网闸交换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330963A (zh) * 2016-10-11 2017-01-11 江苏电力信息技术有限公司 一种跨网络多节点日志采集的方法
CN110908957A (zh) * 2019-11-20 2020-03-24 国网湖南省电力有限公司 电力行业网络安全日志审计分析方法
CN112000741A (zh) * 2020-08-25 2020-11-27 中国南方电网有限责任公司 内外网数据交换系统、方法、装置、计算机设备和介质
CN112073375A (zh) * 2020-08-07 2020-12-11 中国电力科学研究院有限公司 一种适用于电力物联网客户侧的隔离装置及隔离方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547526B2 (en) * 2018-05-17 2020-01-28 At&T Intellectual Property I, L.P. Systems and methods for network analysis and management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330963A (zh) * 2016-10-11 2017-01-11 江苏电力信息技术有限公司 一种跨网络多节点日志采集的方法
CN110908957A (zh) * 2019-11-20 2020-03-24 国网湖南省电力有限公司 电力行业网络安全日志审计分析方法
CN112073375A (zh) * 2020-08-07 2020-12-11 中国电力科学研究院有限公司 一种适用于电力物联网客户侧的隔离装置及隔离方法
CN112000741A (zh) * 2020-08-25 2020-11-27 中国南方电网有限责任公司 内外网数据交换系统、方法、装置、计算机设备和介质

Also Published As

Publication number Publication date
CN112769774A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112769774B (zh) 数据摆渡系统及方法
CN111866016B (zh) 日志的分析方法及系统
EP2566102B1 (en) Security event logging and conversion of security event messages in process control
US9313217B2 (en) Integrated network threat analysis
CN109739203B (zh) 一种工业网络边界防护系统
Stirland et al. Developing cyber forensics for SCADA industrial control systems
Taveras SCADA live forensics: real time data acquisition process to detect, prevent or evaluate critical situations
US10659480B2 (en) Integrated network threat analysis
CN113536325A (zh) 一种数字化信息风险监控方法及装置
CN109005162B (zh) 工控系统安全审计方法及装置
US20210160203A1 (en) System for disarming encrypted attachment files of e-mail and disarming method using same
CN110351281A (zh) 一种通用数据帧解析方法、装置及设备
CN110311946A (zh) 基于云雾计算的业务数据安全处理方法、装置及系统
CN114125083A (zh) 工业网络分布式数据采集方法、装置、电子设备及介质
CN114157501B (zh) 一种基于天睿数据库的参数解析方法及装置
CN113536304B (zh) 一种基于运维审计系统的防绕行方法及设备
CN112714118B (zh) 网络流量检测方法和装置
CN113114626A (zh) 一种基于边缘计算的安全网关系统及其构建方法
CN116996408A (zh) 一种数据传输监控方法、装置、电子设备和存储介质
US20210218707A1 (en) Data processing system, data processing method, and program
Al-Hussaeni et al. A Review of Internet of Things (IoT) Forensics Frameworks and Models
CN106130784A (zh) 一种安全可配置的it信息统一采集器
Gao et al. SIEM: policy-based monitoring of SCADA systems
Polozhentsev et al. Novel Cyber Incident Management System for 5G-based Critical Infrastructures
CN118250104B (zh) 一种基于多数据源的安全日志采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant