CN110572373A - 一种数据交换平台和文件数据流处理方法 - Google Patents

一种数据交换平台和文件数据流处理方法 Download PDF

Info

Publication number
CN110572373A
CN110572373A CN201910768025.9A CN201910768025A CN110572373A CN 110572373 A CN110572373 A CN 110572373A CN 201910768025 A CN201910768025 A CN 201910768025A CN 110572373 A CN110572373 A CN 110572373A
Authority
CN
China
Prior art keywords
data stream
module
rule
data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910768025.9A
Other languages
English (en)
Inventor
张东波
王君雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Unita Information Technology Co Ltd
Original Assignee
Beijing Unita Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Unita Information Technology Co Ltd filed Critical Beijing Unita Information Technology Co Ltd
Priority to CN201910768025.9A priority Critical patent/CN110572373A/zh
Publication of CN110572373A publication Critical patent/CN110572373A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Abstract

本申请提供一种数据交换平台和文件数据流处理方法。数据交换平台包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；源端服务器与前置机连接；前置机通过中间介质与后置机连接；后置机与目的端服务器连接；源端服务器，用于提供数据流；前置机，用于对数据流进行第一处理；中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；后置机，用于对数据流进行第二处理；目的端服务器，用于接收后置机处理后的数据流；配置模块用于存储数据交换平台的规则。本平台通过前置机和后置机实现不落地的情况下的数据流的各项处理，降低了对系统资源的要求。

Description

一种数据交换平台和文件数据流处理方法
技术领域
本发明涉及文件处理技术领域，尤其涉及一种数据交换平台和文件数据流处理方法。
背景技术
在当前的急速发展的网络环境下，各个行业对数据的传输要求越来越高，不仅仅需要高效稳定，更需要可靠安全。特别在一些行业需要从非涉密网向涉密网传输数据时，对数据的传输要求更高，需要满足对数据的指定处理。目前市场上的相关处理设备也仅仅是做出数据流的转发或者落地。
该种设备在内存和cpu的使用上占用更高的系统资源，消耗更多的资源。
发明内容
为解决上述问题，本申请实施例提供了一种数据交换平台，所述数据交换平台包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；
所述源端服务器与所述前置机连接；
所述前置机通过所述中间介质与所述后置机连接；
所述后置机与所述目的端服务器连接；
所述源端服务器，用于提供数据流；
所述前置机，用于对所述数据流进行第一处理；
所述中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；
所述后置机，用于对数据流进行第二处理；
所述目的端服务器，用于接收所述后置机处理后的数据流；
所述配置模块用于存储所述数据交换平台的规则。
可选地，所述前置机，包括第一数据流输入接口，第一处理模块，第一数据流输出接口；
所述第一处理模块为如下的一种或多种：第一病毒过滤模块，第一文件类型检测模块，第一敏感词过滤模块，第一关键字替换模块，第一文件后缀过滤模块，第一加密模块，第一解密模块，第一MD5校验模块，第一编码转换模块，第一解压缩模块，第一数据持久化模块，第一自定义模块；
其中，第一病毒过滤模块，用于检测数据流是否存在病毒；
第一文件类型检测模块，用于检测文件真实类型是否需要过滤；
第一敏感词过滤模块，用于检测数据流是否存在敏感词；
第一关键字替换模块，用于查找关键字段并替换为指定值；
第一文件后缀过滤模块，用于过滤执行文件后缀名；
第一加密模块，用于对数据流进行加密处理；
第一解密模块，用于对数据流进行解密处理；
第一编码转换模块，用于对数据流进行编码转换；
第一解压缩模块，用于对数据流进行压缩或加压操作；
第一MD5校验模块，用于对数据流进行MD5校验；
第一数据持久化模块，用于加载用户指定处理；
第一自定义模块，用于提供对外接口，以加载用户指定处理；
第一数据流输入接口，用于提供外部接口调用，支持文件流和数据库流；
所述第一数据流输入接口获取数据流后，根据配置并行、串行加载第一处理模块；
第一数据流输出接口，用于输出合法的数据流。
可选地，所述后置机，包括第二数据流输入接口，第二处理模块，第二数据流输出接口；
所述第二处理模块为如下的一种或多种：第二病毒过滤模块，第二文件类型检测模块，第二敏感词过滤模块，第二关键字替换模块，第二文件后缀过滤模块，第二加密模块，第二解密模块，第二MD5校验模块，第二编码转换模块，第二解压缩模块，第二数据持久化模块，第二自定义模块；
其中，第二病毒过滤模块，用于检测数据流是否存在病毒；
第二文件类型检测模块，用于检测文件真实类型是否需要过滤；
第二敏感词过滤模块，用于检测数据流是否存在敏感词；
第二关键字替换模块，用于查找关键字段并替换为指定值；
第二文件后缀过滤模块，用于过滤执行文件后缀名；
第二加密模块，用于对数据流进行加密处理；
第二解密模块，用于对数据流进行解密处理；
第二编码转换模块，用于对数据流进行编码转换；
第二解压缩模块，用于对数据流进行压缩或加压操作；
第二MD5校验模块，用于对数据流进行MD5校验；
第二数据持久化模块，用于加载用户指定处理；
第二自定义模块，用于提供对外接口，以加载用户指定处理；
第二数据流输入接口，用于提供外部接口调用，支持文件流和数据库流；
所述第二数据流输入接口获取数据流后，根据配置并行、串行加载第二处理模块；
第二数据流输出接口，用于输出合法的数据流。
可选地，前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流；
前置机根据配置模块中的第二规则，调用第一处理模块对数据流进行处理；
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质；
中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机；
后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理；
后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
可选地，所述中间介质，包括：第一数据封装接口，通道，第二数据封装接口；
其中，第一数据封装接口或第二数据封装接口，用于封装数据流基本信息，并在解封时进行封装数据包校验。
可选地，前置机根据配置模块中的第七规则，通过第一数据流输入接口从源端服务器中获取数据流；
前置机根据配置模块中的第八规则，调用第一处理模块对数据流进行处理；
前置机根据配置模块中的第九规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质；
中间介质根据配置模块中的第十规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机；
后置机根据配置模块中的第十一规则，调用第二处理模块对数据流进行处理；
后置机根据配置模块中的第十二规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
可选地，所述通道为传输设备。
为了达到上述目的，本发明采用的主要技术方案还包括：一种基于上述数据交换平台的文件数据流处理方法，所述方法包括：
前置机根据配置模块中的第一规则，从源端服务器中获取数据流；
前置机根据配置模块中的第二规则对数据流进行处理；
前置机根据配置模块中的第三规则，将前置机处理后的数据流输出至中间介质；
中间介质根据配置模块中的第四规则，将数据流转发至后置机；
后置机根据配置模块中的第五规则对数据流进行处理；
后置机根据配置模块中的第六规则，将后置机处理后的数据流输出至目的端服务器。
可选地，所述前置机根据配置模块中的第一规则，从源端服务器中获取数据流，包括：
前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流；
所述前置机根据配置模块中的第二规则对数据流进行处理，包括：
前置机根据配置模块中的第二规则调用第一处理模块对数据流进行处理；
所述前置机根据配置模块中的第三规则，将前置机处理后的数据流输出至中间介质，包括：
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质；
所述中间介质根据配置模块中的第四规则，将数据流转发至后置机，包括：
中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机；
所述后置机根据配置模块中的第五规则对数据流进行处理，包括：
后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理；
所述后置机根据配置模块中的第六规则，将后置机处理后的数据流输出至目的端服务器，包括：
后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
可选地，所述前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质，包括：
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质；
所述中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机，包括：
中间介质根据配置模块中的第四规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机。
有益效果如下：
本申请的数据交换平台包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；源端服务器与前置机连接；前置机通过中间介质与后置机连接；后置机与目的端服务器连接；源端服务器，用于提供数据流；前置机，用于对数据流进行第一处理；中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；后置机，用于对数据流进行第二处理；目的端服务器，用于接收后置机处理后的数据流；配置模块用于存储数据交换平台的规则。本平台通过前置机和后置机实现不落地的情况下的数据流的各项处理，降低了对系统资源的要求。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请一实施例提供的一种数据交换平台的结构示意图；
图2示出了本申请一实施例提供的另一种数据交换平台的结构示意图；
图3示出了本申请一实施例提供的一种文件数据流处理方法的流程示意图。
具体实施方式
在当前的急速发展的网络环境下，各个行业对数据的传输要求越来越高，不仅仅需要高效稳定，更需要可靠安全。特别在一些行业需要从非涉密网向涉密网传输数据时，对数据的传输要求更高，需要满足对数据的指定处理。目前市场上的相关处理设备也仅仅是做出数据流的转发或者落地。
该种设备在内存和cpu的使用上占用更高的系统资源，消耗更多的资源。
基于此，本发明提供一种数据交换平台，包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；源端服务器与前置机连接；前置机通过中间介质与后置机连接；后置机与目的端服务器连接；源端服务器，用于提供数据流；前置机，用于对数据流进行第一处理；中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；后置机，用于对数据流进行第二处理；目的端服务器，用于接收后置机处理后的数据流；配置模块用于存储数据交换平台的规则。本平台通过前置机和后置机实现不落地的情况下的数据流的各项处理，降低了对系统资源的要求。
本发明提供的数据交换平台的结构如图1所示，包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块（图1中未示出）。
1、配置模块
配置模块用于存储数据交换平台的规则。
配置模块中的规则用于指导数据交换平台有序运行。
前置机，后置机，中间介质，源端服务器，目的端服务器均会从配置模块中获取对应的规则，并按规则运行。
2、源端服务器
源端服务器与前置机连接。
源端服务器，用于提供数据流。
3、前置机
前置机与源端服务器连接，同时，前置机通过中间介质与后置机连接。
前置机，用于对数据流进行第一处理。
参见图2，前置机，包括第一数据流输入接口，第一处理模块，第一数据流输出接口。
第一处理模块包括但不限于如下的一种或多种：第一病毒过滤模块，第一文件类型检测模块，第一敏感词过滤模块，第一关键字替换模块，第一文件后缀过滤模块，第一加密模块，第一解密模块，第一MD5校验模块，第一编码转换模块，第一解压缩模块，第一数据持久化模块，第一自定义模块。
其中，第一病毒过滤模块，用于检测数据流是否存在病毒。
第一文件类型检测模块，用于检测文件真实类型是否需要过滤。
第一敏感词过滤模块，用于检测数据流是否存在敏感词。
第一关键字替换模块，用于查找关键字段并替换为指定值。
第一文件后缀过滤模块，用于过滤执行文件后缀名。
第一加密模块，用于对数据流进行加密处理。
第一解密模块，用于对数据流进行解密处理。
第一编码转换模块，用于对数据流进行编码转换。
第一解压缩模块，用于对数据流进行压缩或加压操作。
第一MD5校验模块，用于对数据流进行MD5校验。
第一数据持久化模块，用于加载用户指定处理。
第一自定义模块，用于提供对外接口，以加载用户指定处理。
第一数据流输入接口，用于提供外部接口调用，支持文件流和数据库流。
第一数据流输入接口获取数据流后，根据配置并行、串行加载第一处理模块。若第一处理模块包括多个模块，则第一数据流输入接口获取数据流后，根据配置并行、串行加载多个模块中的一个或多个。
第一数据流输出接口，用于输出合法的数据流。
具体的，前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流。前置机根据配置模块中的第二规则，调用第一处理模块对数据流进行处理。前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质。
相应的，中间介质会根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机。后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
具体的，若中间介质，包括：第一数据封装接口，通道，第二数据封装接口，则前置机根据配置模块中的第七规则，通过第一数据流输入接口从源端服务器中获取数据流。前置机根据配置模块中的第八规则，调用第一处理模块对数据流进行处理。前置机根据配置模块中的第九规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质。
相应的，中间介质根据配置模块中的第十规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机。后置机根据配置模块中的第十一规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第十二规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
4、中间介质
中间介质分别与前置机和后置机连接。
中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机。
若中间介质通过第一数据流输出接口接收到前置机的数据流，则中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机。
相应的，后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
在具体实现时，中间介质，可以包括：第一数据封装接口，通道，第二数据封装接口。此时，若中间介质通过第一数据封装接口接收到前置机的数据流，则中间介质根据配置模块中的第十规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机。
相应的，后置机根据配置模块中的第十一规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第十二规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
其中，第一数据封装接口或第二数据封装接口，用于封装数据流基本信息，并在解封时进行封装数据包校验。
通道可以为传输设备，例如一个或多个光闸等。
5、后置机
后置机与中间介质连接，同时，后置机与目的端服务器连接。
后置机，用于对数据流进行第二处理。
参见图2，后置机，包括第二数据流输入接口，第二处理模块，第二数据流输出接口。
第二处理模块包括但不限于如下的一种或多种：第二病毒过滤模块，第二文件类型检测模块，第二敏感词过滤模块，第二关键字替换模块，第二文件后缀过滤模块，第二加密模块，第二解密模块，第二MD5校验模块，第二编码转换模块，第二解压缩模块，第二数据持久化模块，第二自定义模块。
其中，第二病毒过滤模块，用于检测数据流是否存在病毒。
第二文件类型检测模块，用于检测文件真实类型是否需要过滤。
第二敏感词过滤模块，用于检测数据流是否存在敏感词。
第二关键字替换模块，用于查找关键字段并替换为指定值。
第二文件后缀过滤模块，用于过滤执行文件后缀名。
第二加密模块，用于对数据流进行加密处理。
第二解密模块，用于对数据流进行解密处理。
第二编码转换模块，用于对数据流进行编码转换。
第二解压缩模块，用于对数据流进行压缩或加压操作。
第二MD5校验模块，用于对数据流进行MD5校验。
第二数据持久化模块，用于加载用户指定处理。
第二自定义模块，用于提供对外接口，以加载用户指定处理。
第二数据流输入接口，用于提供外部接口调用，支持文件流和数据库流。
第二数据流输入接口获取数据流后，根据配置并行、串行加载第二处理模块。若第二处理模块包括多个模块，则第二数据流输入接口获取数据流后，根据配置并行、串行加载多个模块中的一个或多个。
第二数据流输出接口，用于输出合法的数据流。
若后置机通过第二数据流输入接口接收到中间介质转发的数据流，则后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
在具体实现时，若中间介质，包括：第一数据封装接口，通道，第二数据封装接口。此时，若后置机通过第二数据封装接口接收到中间介质转发的数据流，则后置机根据配置模块中的第十一规则，调用第二处理模块对数据流进行处理。后置机根据配置模块中的第十二规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
需要说明的是，本实施例中的第一处理和第二处理可以为相同的处理，也可以为不同的处理，本实施例不对第一处理和第二处理的处理内容及流程进行限定。其中的第一和第二仅为序号，用于区分不同设备做的处理，即前置机做的处理叫做第一处理，后置机做的处理叫做第二处理。第一，第二无实质含义。
另外，前置机中的数据流数据接口叫做第一数据流输入接口，后置机中的数据流数据接口叫做第二数据流输入接口，其中的第一，第二仅为区分前置机和后置机之用，无实质含义。前置机中的数据流数据接口（即第一数据流输入接口）实现的功能，执行的动作，判断规则，执行顺序等与后置机中的数据流数据接口（即第二数据流输入接口）可以相同，也可以不同，本实施例不做限定。
前置机中的处理模块叫做第一处理模块，后置机中的处理模块叫做第二处理模块，其中的第一，第二仅为区分前置机和后置机之用，无实质含义。前置机中的处理模块（即第一处理模块）包括的模块，实现的功能，执行的动作，判断规则，执行顺序等与后置机中的处理模块（即第二处理模块）可以相同，也可以不同，本实施例不做限定。
前置机中的处理模块（即第一处理模块）包括的模块均标识为第一，例如，若前置机中的处理模块（即第一处理模块）包括病毒过滤模块，则称其为第一病毒过滤模块。若前置机中的处理模块（即第一处理模块）包括文件类型检测模块，则称其为第一文件类型检测模块。若前置机中的处理模块（即第一处理模块）包括敏感词过滤模块，则称其为第一敏感词过滤模块。若前置机中的处理模块（即第一处理模块）包括关键字替换模块，则称其为第一关键字替换模块。若前置机中的处理模块（即第一处理模块）包括文件后缀过滤模块，则称其为第一文件后缀过滤模块。若前置机中的处理模块（即第一处理模块）包括加密模块，则称其为第一加密模块。若前置机中的处理模块（即第一处理模块）包括解密模块，则称其为第一解密模块。若前置机中的处理模块（即第一处理模块）包括MD5校验模块，则称其为第一MD5校验模块。若前置机中的处理模块（即第一处理模块）包括编码转换模块，则称其为第一编码转换模块。若前置机中的处理模块（即第一处理模块）包括解压缩模块，则称其为第一解压缩模块。若前置机中的处理模块（即第一处理模块）包括数据持久化模块，则称其为第一数据持久化模块。若前置机中的处理模块（即第一处理模块）包括自定义模块，则称其为第一自定义模块。
后置机中的处理模块（即第二处理模块）包括的模块均标识为第二，例如，若后置机中的处理模块（即第二处理模块）包括病毒过滤模块，则称其为第二病毒过滤模块。若后置机中的处理模块（即第二处理模块）包括文件类型检测模块，则称其为第二文件类型检测模块。若后置机中的处理模块（即第二处理模块）包括敏感词过滤模块，则称其为第二敏感词过滤模块。若后置机中的处理模块（即第二处理模块）包括关键字替换模块，则称其为第二关键字替换模块。若后置机中的处理模块（即第二处理模块）包括文件后缀过滤模块，则称其为第二文件后缀过滤模块。若后置机中的处理模块（即第二处理模块）包括加密模块，则称其为第二加密模块。若后置机中的处理模块（即第二处理模块）包括解密模块，则称其为第二解密模块。若后置机中的处理模块（即第二处理模块）包括MD5校验模块，则称其为第二MD5校验模块。若后置机中的处理模块（即第二处理模块）包括编码转换模块，则称其为第二编码转换模块。若后置机中的处理模块（即第二处理模块）包括解压缩模块，则称其为第二解压缩模块。若后置机中的处理模块（即第二处理模块）包括数据持久化模块，则称其为第二数据持久化模块。若后置机中的处理模块（即第二处理模块）包括自定义模块，则称其为第二自定义模块。
其中的第一和第二仅为序号，用于区分不同设备的模块，即前置机的模块还是后置机的模块。第一，第二无实质含义。
对于前置机的处理模块（即第一处理模块）和后置机的处理模块（即第二处理模块）中相同名称的模块（例如，前置机中的MD5校验模块（即第一MD5校验模块）和后置机中的MD5校验模块（即第二MD5校验模块））其实现的功能，执行的步骤，执行顺序，依据的规则等均可以相同，也可以不同，本实施例不做限定。
前置机的处理模块（即第一处理模块）具体包括多少模块，均为何模块与后置机的处理模块（即第二处理模块）具体包括多少模块，均为何模块可以相同，也可以不同，本实施例不限定。例如，若第一处理模块包括第一病毒过滤模块，第一文件类型检测模块，第一敏感词过滤模块，第一关键字替换模块，第一文件后缀过滤模块，第一加密模块，第一解密模块，第一MD5校验模块，第一编码转换模块，第一解压缩模块，第一数据持久化模块，第一自定义模块，那么第二处理模块可以包括第二病毒过滤模块，第二文件类型检测模块，第二敏感词过滤模块，第二关键字替换模块，第二文件后缀过滤模块，第二加密模块，第二解密模块，第二MD5校验模块，第二编码转换模块，第二解压缩模块，第二数据持久化模块，第二自定义模块，也可以仅包括第二病毒过滤模块。
前置机中的数据流输出接口叫做第一数据流输出接口，后置机中的数据流输出接口叫做第二数据流输出接口，其中的第一，第二仅为区分前置机和后置机之用，无实质含义。前置机中的数据流输出接口（即第一数据流输出接口）包括实现的功能，执行的动作，判断规则，执行顺序等与后置机中的数据流输出接口（即第二数据流输出接口）可以相同，也可以不同，本实施例不做限定。
6、目的端服务器
目的端服务器与后置机连接。
目的端服务器，用于接收后置机处理后的数据流。
除此之外，本实施例提供的数据交换平台还会包括：数据流介质接口，用于根据整体环境配置和硬件配置，自适应和用户指定数据流经过中间介质的发包方式，包括采用协议udp或tcp，udp单包发包个数。
子模块加载接口：可根据配置加载或动态调用加载子模块。
本实施例提供的数据交换平台的前置机连接中间介质（例如光闸或网闸外网），后置机连接中间介质（例如光闸或网闸内网），数据从前置机经光闸或网闸外网再到光闸或网闸内网，再到达后置机。
需要说明的是，本实施例及后续实施例中的“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”、“第八”、“第九”、“第十”、“第十一”、“第十二”为序号，仅为区分配置模块中不同的规则之用，并无其他实质含义。不同需要的任何两个规则可以相同也可以不同，例如，第一规则与第七规则可以相同，也可以不同，本实施例不对不同序号的规则之间的关系进行限定。
有益效果：
数据交换平台包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；源端服务器与前置机连接；前置机通过中间介质与后置机连接；后置机与目的端服务器连接；源端服务器，用于提供数据流；前置机，用于对数据流进行第一处理；中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；后置机，用于对数据流进行第二处理；目的端服务器，用于接收后置机处理后的数据流；配置模块用于存储数据交换平台的规则。本平台通过前置机和后置机实现不落地的情况下的数据流的各项处理，降低了对系统资源的要求。
参见图3，通过图1或图2所示的数据交换平台进行文件数据流处理方法如下：
301，前置机根据配置模块中的第一规则，从源端服务器中获取数据流。
具体的，前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流。
302，前置机根据配置模块中的第二规则对数据流进行处理。
具体的，前置机根据配置模块中的第二规则调用第一处理模块对数据流进行处理。
303，前置机根据配置模块中的第三规则，将前置机处理后的数据流输出至中间介质。
具体的，前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质。
若中间介质，包括：第一数据封装接口，通道，第二数据封装接口，则本步骤的实现方式为：前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质。
304，中间介质根据配置模块中的第四规则，将数据流转发至后置机。
具体的，中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机。
若中间介质，包括：第一数据封装接口，通道，第二数据封装接口，则本步骤的实现方式为：中间介质根据配置模块中的第四规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机。
305，后置机根据配置模块中的第五规则对数据流进行处理。
具体的，后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理。
306，后置机根据配置模块中的第六规则，将后置机处理后的数据流输出至目的端服务器。
具体的，后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
本实施例提供的文件数据流处理方法适用于密级网络与密级网络、非密级网络与非密级网络、密级网络与非密级网络进行数据交互以及校验的通信过程。
数据流传输过程，数据流输入口进入后，根据前置机配置规则，在不落地的前提下，串行或并行经过子模块，进行各项处理后封装，再根据中间介质采用tcp或udp的方式传输至后置机，解封后再串行或并行经过子模块，通过输出口吐出数据流。
本方法可以在有效保证数据流的的安全上进行高效处理，自适应硬件环境，高效利用系统资源，进行数据流的处理。
下面以中间介质（例如光闸或网闸）为例举例说明本实施例提供的文件数据流处理方法。
例1：文件流的稳定性
1）配置数据交换平台规则，通过配置协议处理源端文件获取到文件流，调用前置机数据流输入接口。
2）前置机通过数据流输入接口获取文件的数据流，根据配置规则调用子模块处理。
3）数据流通过模块处理后，通过通道规则转发到光闸外网。
4）光闸外网摆渡到光闸内网，再通过通道规则转发到后置机，后置机调用数据流输入接口。
5）后置机数据流输入接口根据配置规则调用子模块处理。
6）数据流通过模块处理后转发至目的端服务器。
7）验证目的端文件和源端文件一致。
例2：以文件流处理为例，可以配置相应规则，对文件进行病毒扫描、敏感词过滤、关键词替换、文件类型过滤等一系列子模块功能和添加自定义处理逻辑。
1）源端准备验证文件（病毒文件、敏感词文件等）。
2）配置数据交换平台规则，配置子模块处理功能。
3）通过配置协议处理源端文件获取到文件流，调用前置机数据流输入接口。
4）前置机通过数据流输入接口获取文件的数据流，根据配置规则调用子模块处理。
5）数据流通过模块处理后，通过通道规则转发到光闸外网。
6）光闸外网摆渡到光闸内网，再通过通道规则转发到后置机，后置机调用数据流输入接口。
7）后置机数据流输入接口根据配置规则调用子模块处理。
8）数据流通过模块处理后转发至目的端服务器。
9）根据目的端文件和日志验证子模块功能达到要求。
本实施例提供的数据交换平台和文件数据流处理方法具有如下效果，1）在不落地的情况下对数据流进行各项处理。2）对数据流处理的模块化。3）处理模块（第一处理模块及第二处理模块）可根据实际需求进行加载，支持高效并发处理数据，可达到带宽限速。4）支持用户自定义数据流处理。5）自动适应、高效稳定使用系统资源。

Claims (10)

1.一种数据交换平台，其特征在于，所述数据交换平台包括：前置机，后置机，中间介质，源端服务器，目的端服务器，配置模块；
所述源端服务器与所述前置机连接；
所述前置机通过所述中间介质与所述后置机连接；
所述后置机与所述目的端服务器连接；
所述源端服务器，用于提供数据流；
所述前置机，用于对所述数据流进行第一处理；
所述中间介质，用于将前置机处理后的数据流从前置机摆渡到后置机；
所述后置机，用于对数据流进行第二处理；
所述目的端服务器，用于接收所述后置机处理后的数据流；
所述配置模块用于存储所述数据交换平台的规则。
2.根据权利要求1所述的数据交换平台，其特征在于，所述前置机，包括第一数据流输入接口，第一处理模块，第一数据流输出接口；
所述第一处理模块为如下的一种或多种：第一病毒过滤模块，第一文件类型检测模块，第一敏感词过滤模块，第一关键字替换模块，第一文件后缀过滤模块，第一加密模块，第一解密模块，第一MD5校验模块，第一编码转换模块，第一解压缩模块，第一数据持久化模块，第一自定义模块；
其中，第一病毒过滤模块，用于检测数据流是否存在病毒；
第一文件类型检测模块，用于检测文件真实类型是否需要过滤；
第一敏感词过滤模块，用于检测数据流是否存在敏感词；
第一关键字替换模块，用于查找关键字段并替换为指定值；
第一文件后缀过滤模块，用于过滤执行文件后缀名；
第一加密模块，用于对数据流进行加密处理；
第一解密模块，用于对数据流进行解密处理；
第一编码转换模块，用于对数据流进行编码转换；
第一解压缩模块，用于对数据流进行压缩或加压操作；
第一MD5校验模块，用于对数据流进行MD5校验；
第一数据持久化模块，用于加载用户指定处理；
第一自定义模块，用于提供对外接口，以加载用户指定处理；
第一数据流输入接口，用于提供外部接口调用，支持文件流和数据库流；
所述第一数据流输入接口获取数据流后，根据配置并行、串行加载第一处理模块；
第一数据流输出接口，用于输出合法的数据流。
3.根据权利要求2所述的数据交换平台，其特征在于，所述后置机，包括第二数据流输入接口，第二处理模块，第二数据流输出接口；
所述第二处理模块为如下的一种或多种：第二病毒过滤模块，第二文件类型检测模块，第二敏感词过滤模块，第二关键字替换模块，第二文件后缀过滤模块，第二加密模块，第二解密模块，第二MD5校验模块，第二编码转换模块，第二解压缩模块，第二数据持久化模块，第二自定义模块；
其中，第二病毒过滤模块，用于检测数据流是否存在病毒；
第二文件类型检测模块，用于检测文件真实类型是否需要过滤；
第二敏感词过滤模块，用于检测数据流是否存在敏感词；
第二关键字替换模块，用于查找关键字段并替换为指定值；
第二文件后缀过滤模块，用于过滤执行文件后缀名；
第二加密模块，用于对数据流进行加密处理；
第二解密模块，用于对数据流进行解密处理；
第二编码转换模块，用于对数据流进行编码转换；
第二解压缩模块，用于对数据流进行压缩或加压操作；
第二MD5校验模块，用于对数据流进行MD5校验；
第二数据持久化模块，用于加载用户指定处理；
第二自定义模块，用于提供对外接口，以加载用户指定处理；
第二数据流输入接口，用于提供外部接口调用，支持文件流和数据库流；
所述第二数据流输入接口获取数据流后，根据配置并行、串行加载第二处理模块；
第二数据流输出接口，用于输出合法的数据流。
4.根据权利要求3所述的数据交换平台，其特征在于，前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流；
前置机根据配置模块中的第二规则，调用第一处理模块对数据流进行处理；
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质；
中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机；
后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理；
后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
5.根据权利要求3所述的数据交换平台，其特征在于，所述中间介质，包括：第一数据封装接口，通道，第二数据封装接口；
其中，第一数据封装接口或第二数据封装接口，用于封装数据流基本信息，并在解封时进行封装数据包校验。
6.根据权利要求5所述的数据交换平台，其特征在于，前置机根据配置模块中的第七规则，通过第一数据流输入接口从源端服务器中获取数据流；
前置机根据配置模块中的第八规则，调用第一处理模块对数据流进行处理；
前置机根据配置模块中的第九规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质；
中间介质根据配置模块中的第十规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机；
后置机根据配置模块中的第十一规则，调用第二处理模块对数据流进行处理；
后置机根据配置模块中的第十二规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
7.根据权利要求5或6所述的数据交换平台，其特征在于，所述通道为传输设备。
8.一种基于权利要求1至7任一权利要求所述的数据交换平台的文件数据流处理方法，其特征在于，所述方法包括：
前置机根据配置模块中的第一规则，从源端服务器中获取数据流；
前置机根据配置模块中的第二规则对数据流进行处理；
前置机根据配置模块中的第三规则，将前置机处理后的数据流输出至中间介质；
中间介质根据配置模块中的第四规则，将数据流转发至后置机；
后置机根据配置模块中的第五规则对数据流进行处理；
后置机根据配置模块中的第六规则，将后置机处理后的数据流输出至目的端服务器。
9.根据权利要求8所述的方法，其特征在于，所述前置机根据配置模块中的第一规则，从源端服务器中获取数据流，包括：
前置机根据配置模块中的第一规则，通过第一数据流输入接口从源端服务器中获取数据流；
所述前置机根据配置模块中的第二规则对数据流进行处理，包括：
前置机根据配置模块中的第二规则调用第一处理模块对数据流进行处理；
所述前置机根据配置模块中的第三规则，将前置机处理后的数据流输出至中间介质，包括：
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质；
所述中间介质根据配置模块中的第四规则，将数据流转发至后置机，包括：
中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机；
所述后置机根据配置模块中的第五规则对数据流进行处理，包括：
后置机根据配置模块中的第五规则，调用第二处理模块对数据流进行处理；
所述后置机根据配置模块中的第六规则，将后置机处理后的数据流输出至目的端服务器，包括：
后置机根据配置模块中的第六规则，将第二处理模块处理后的数据流通过第二数据流输出接口输出至目的端服务器。
10.根据权利要求9所述的方法，其特征在于，所述前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口输出至中间介质，包括：
前置机根据配置模块中的第三规则，将第一处理模块处理后的数据流通过第一数据流输出接口以及第一数据封装接口输出至中间介质；
所述中间介质根据配置模块中的第四规则，将数据流通过第二数据流输入接口转发至后置机，包括：
中间介质根据配置模块中的第四规则，依次通过通道，第二数据封装接口，第二数据流输入接口，将数据流转发至后置机。
CN201910768025.9A 2019-08-20 2019-08-20 一种数据交换平台和文件数据流处理方法 Pending CN110572373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768025.9A CN110572373A (zh) 2019-08-20 2019-08-20 一种数据交换平台和文件数据流处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910768025.9A CN110572373A (zh) 2019-08-20 2019-08-20 一种数据交换平台和文件数据流处理方法

Publications (1)

Publication Number Publication Date
CN110572373A true CN110572373A (zh) 2019-12-13

Family

ID=68773964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910768025.9A Pending CN110572373A (zh) 2019-08-20 2019-08-20 一种数据交换平台和文件数据流处理方法

Country Status (1)

Country Link
CN (1) CN110572373A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995258A (zh) * 2019-12-17 2021-06-18 南京品尼科自动化有限公司 一种机房环境监测前置机
CN113032354A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 内外网应用间数据共享与实时高频交互方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204089858U (zh) * 2014-05-23 2015-01-07 中国人民解放军理工大学 一种安全隔离应用层网关
CN105843966A (zh) * 2016-04-22 2016-08-10 中国银联股份有限公司 数据处理系统以及方法
CN107800722A (zh) * 2017-12-05 2018-03-13 英赛克科技（北京）有限公司 隔离工控设备与外部网络服务器的方法及装置
US20180109597A1 (en) * 2007-11-15 2018-04-19 International Business Machines Corporation Server-processor hybrid system for processing data
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质
CN109743287A (zh) * 2018-12-06 2019-05-10 广东电网有限责任公司 一种基于数据隔离的数据重组方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180109597A1 (en) * 2007-11-15 2018-04-19 International Business Machines Corporation Server-processor hybrid system for processing data
CN204089858U (zh) * 2014-05-23 2015-01-07 中国人民解放军理工大学 一种安全隔离应用层网关
CN105843966A (zh) * 2016-04-22 2016-08-10 中国银联股份有限公司 数据处理系统以及方法
CN107800722A (zh) * 2017-12-05 2018-03-13 英赛克科技（北京）有限公司 隔离工控设备与外部网络服务器的方法及装置
CN109743287A (zh) * 2018-12-06 2019-05-10 广东电网有限责任公司 一种基于数据隔离的数据重组方法及装置
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995258A (zh) * 2019-12-17 2021-06-18 南京品尼科自动化有限公司 一种机房环境监测前置机
CN112995258B (zh) * 2019-12-17 2023-12-29 南京品尼科自动化有限公司 一种机房环境监测前置机
CN113032354A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 内外网应用间数据共享与实时高频交互方法

Similar Documents

Publication Publication Date Title
US8051480B2 (en) System and method for monitoring and analyzing multiple interfaces and multiple protocols
US9479450B2 (en) Resolving communication collisions in a heterogeneous network
EP3235166B1 (en) Security plugin for a system-on-a-chip platform
US20050278783A1 (en) System security approaches using multiple processing units
CN102413141A (zh) 网络消息解析方法及通信设备
CN110381093B (zh) 数据协议转换的方法、装置、数据传输的系统及电子设备
CN110572373A (zh) 一种数据交换平台和文件数据流处理方法
CN104852939B (zh) 一种部署能力接口的方法和系统
Wang et al. Using CNN-based representation learning method for malicious traffic identification
CN109040028B (zh) 一种工控全流量分析方法及装置
CN113489652A (zh) 一种数据流放大方法、装置、汇聚分流器以及存储介质
CN117882431A (zh) 在5g网络中对分组有效载荷数据进行选择性压缩
US20220399957A1 (en) Communication system and communication method for reporting compromised state in one-way transmission
Zazo et al. Automated synthesis of FPGA-based packet filters for 100 Gbps network monitoring applications
CN111427693B (zh) 数据处理方法、系统、介质、服务系统及旁路卸载系统
US20140096228A1 (en) System and method for automatic provisioning of multi-stage rule-based traffic filtering
US20120041998A1 (en) Network Interface for Accelerating XML Processing
US10298606B2 (en) Apparatus, system, and method for accelerating security inspections using inline pattern matching
CN111163102A (zh) 数据处理方法及装置、网络设备、可读存储介质
CN105323234B (zh) 业务节点能力处理方法、装置、业务分类器及业务控制器
CN109327405B (zh) 报文保序方法及网络设备
CN110493057B (zh) 一种无线接入设备及其转发控制方法
US8019776B2 (en) Determining device and determining method for determining processing to be performed based on acquired data
US20100138181A1 (en) Testing apparatus
CN115801629B (zh) 双向转发侦测方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication