CN107634984B - 一种基于单向传输通道的文件同步方法 - Google Patents

Abstract

本发明公开一种基于单向传输通道的文件同步方法，包括在外网主机和内网主机上分别部署的发送客户端和接收客户端，以及在单向隔离传输设备外网侧和内网侧分别部署的接收服务程序和发送服务程序；外网主机运行的发送客户端连接外网侧的接收服务程序，接收服务程序通过单向传输通道将数据传输到内网侧的发送服务程序，发送服务程序将数据发送到内网主机的接收客户端。本发明所提供的策略配置与文件单向同步的方法，自动化传输文件，提高文件同步效率，采用高性能网络库处理网络连接，支持大量网络连接的同时系统能够快速响应，支持多级文件夹同步，大大提升了同步效率。并支持自主配置服务程序的策略，灵活性高。

Description

一种基于单向传输通道的文件同步方法

技术领域

本发明属于数据传输技术领域，涉及一种单向传输环境下文件同步的实现方法，尤其是一种针对电力行业的特性而研发的一种同步方法，具体为一种基于单向传输通道的文件同步方法。

背景技术

网络技术的不断发展和普及，各行业的快速发展离不开信息系统的支持，企业的信息化建设同时还有安全性问题，如何保障网络及信息系统应用的基础上确保网络及信息系统安全性成为最重要的研究对象。避免受到公网的攻击，企业会把核心业务系统放置在企业内部网络，切断内网和外网间的在线连接，企业内部网络和公网间不能建立直接或间接地网络连接。

企业的内部信息系统的定时更新或是将业务数据从外网传输到内网，企业不可避免会有向内网单向传输文件的需求。网络隔离环境下，传统的文件传输方式有人工拷贝和文件“摆渡”设备。人工拷贝方式是通过存储设备将需要的文件复制、粘贴，从而实现两个不同安全级别网络间的信息交换。现阶段的数据“摆渡”设备，是内外网两侧设备分时访问同一块硬盘，内外网间通过访问同一块硬盘传输数据。现有的文件单向传输方法存在效率低，速度慢的特点，不支持高并发传输文件，不能满足企业大量文件快速传输的需求。

发明内容

发明目的：针对现有技术存在的不足，本发明的目的是提供一种自动化传输文件，实现高并发传输文件，并支持多层级传输文件夹的基于单向传输通道的文件同步方法。

技术方案：为了实现上述发明目的，本发明采用的技术方案如下：

一种基于单向传输通道的文件同步方法，包括在外网主机和内网主机上分别部署的发送客户端和接收客户端，以及在单向隔离传输设备外网侧和内网侧分别部署的接收服务程序和发送服务程序；所述外网主机运行的发送客户端连接外网侧的接收服务程序，接收服务程序通过单向传输通道将数据传输到内网侧的发送服务程序，所述发送服务程序将数据发送到内网主机的接收客户端。

进一步地，所述单向隔离传输设备上的接收服务程序和发送服务程序采用libevent网络库处理网络连接，在程序初始化阶段首先对libevent网络库的数据结构进行初始化。

进一步地，所述单向隔离传输设备上的接收服务程序和发送服务程序初始化过程中调用libevent网络库接口创建N+1个event_base数据结构，1个主event_base负责监听，N个event_base负责处理连接的数据。

进一步地，所述单向隔离传输设备上的接收服务程序和发送服务程序初始化过程中为每个event_base创建一个定时器事件并加入event_base。

进一步地，所述单向隔离传输设备内网侧的发送服务程序采用libevent网络库的bufferevent技术，所述bufferevent是一个基于socket的缓冲区，每个缓冲区建立一个网络连接并自行处理网络连接，所述发送服务程序将从外网侧获取的数据写入缓冲区，libevent网络库按序将缓冲区中的数据发送至接收客户端。

进一步地，所述外网主机上的发送客户端首先进行登录认证，认证成功后，获取需要发送文件或文件夹的路径，将路径加入待发送队列，发送线程不断读取待发送队列发送待发送目标至单向隔离传输设备外网侧的接收服务程序。

进一步地，所述单向隔离传输设备外网侧的接收服务程序接收发送客户端发起的连接，为新连接申请数据结构空间，进行登录认证和接收数据，并将数据传输到单向隔离传输设备的内网侧。

进一步地，所述单向隔离传输设备内网侧的发送服务程序接收外网侧接收服务程序发送的数据包，从数据包中解析出对应的规则，获取要发送的目的地址并将数据包中的数据发送给接收客户端。

进一步地，所述内网主机上的接收客户端在处理数据包时，首先解析数据包的类型是文件还是文件夹，根据不同的数据包类型进行后续的校验接收或者丢弃处理。

有益效果：与现有技术相比，本发明具有以下优点：

本发明的基于单向传输通道的文件同步方法，在企业内网与外网隔离的网络环境下，通过本发明所提供的策略配置与文件单向同步的方法，自动化传输文件，提高文件同步效率，采用高性能网络库处理网络连接，支持大量网络连接的同时系统能够快速响应，支持多级文件夹同步，大大提升了同步效率。本发明支持自主配置服务程序的策略，灵活性高。本发明以电力行业信息化特色为背景进行研究，却不仅限于解决电力行业网络环境的文件单向同步，在类似的企业中都具有广泛的应用前景。

附图说明

图1是本发明基于网络单向隔离环境下文件传输的拓扑结构示意图。

图2是本发明部署在单向隔离传输设备上服务程序的初始化流程示意图。

图3是本发明部署在单向隔离传输设备外网侧的接收服务程序的主要工作流程示意图。

图4是本发明部署在单向隔离传输设备内网侧的发送服务程序的主要工作流程示意图。

图5是本发明外网发送客户端的主要工作流程示意图。

图6是本发明内网接收客户端的数据包处理流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

本发明提供了一种内外网单向隔离环境下文件同步的方法，专门对内外网隔离有严格要求的企业网络而设计。内外网单向隔离环境下，数据只能单向流动并且没有反馈信息，内外网间不能建立在线连接，需要建立TCP连接的文件同步应用都不能使用。本发明采用高性能网络库和单向传输通道，在实现网络单向隔离的情况下，实现高并发文件传输。在承受大量并发连接条件下，可以实现文件快速同步。还可以对进行文件同步的主机进行配置，只允许限定的主机进行文件同步。

首先，在一台单向隔离传输设备内外网两侧安装文件同步服务程序，文件同步服务程序分别为部署在单向隔离传输设备外网侧的接收服务程序和内网侧的发送服务程序，正常情况下单向隔离传输设备上的文件同步服务程序将保持后台运行状态，分别在外网主机和内网主机上运行发送客户端和接收客户端。在内外网隔离的网络环境下，内网主机开启接收客户端，外网设备连接单向隔离传输设备可以将文件传输到内网，内网收到文件后对文件进行校验比较，验证文件传输的正确性。

单向隔离传输设备外网侧的接收服务程序等待外网主机的连接，外网侧的接收服务程序根据设定策略，监听特定的地址和端口。外网侧的接收服务程序收到数据后通过单向传输组件发送到内网侧。内网侧的发送服务程序接收外网侧的数据，根据数据的标识判断将数据发送到哪一台内网主机。

外网主机运行发送客户端，发送客户端连接单向隔离传输设备外网侧的接收服务程序，首先进行登录认证，认证通过后方可进行后续操作。认证成功后，向发送客户端数据输入待发送的文件或文件夹的路径，发送客户端程序即开始发送。内网侧主机运行接收客户端，接收客户端会监听一个端口，等待内网侧服务程序连接。

为了实现大量并发连接接入的情况下也能实现高性能，本发明采用了I/O复用技术，使用了对I/O复用技术封装的libevent网络库处理网络连接，解决了大量并发连接接入情况下传输性能的问题。

图1所示的是本发明所述的基于网络单向隔离环境下文件同步的拓扑结构示意图。单向隔离传输设备由两块板子构成，两块板子运行独立的系统，由单向传输组件连接建立单向传输通路。本发明在拓扑结构中四个地方部署程序，外网主机和内网主机上分别部署发送客户端和接收客户端，在单向隔离传输设备的外网侧和内网侧分别部署接收服务程序和发送服务程序。外网主机运行的发送客户端连接外网侧的接收服务程序，接收服务程序通过单向传输通道将数据传输到内网侧的发送服务程序，发送服务程序将数据发送到内网主机的接收客户端。由此完成了文件由外网到内网的单向传输。

图2所示的是部署在单向隔离传输设备上的接收服务程序和发送服务程序的初始化流程图。部署在单向隔离传输设备上的接收服务程序和发送服务程序采用libevent网络库处理网络连接，在程序初始化阶段需要对libevent网络库的一些数据结构进行初始化，这两个服务程序采用libevent网络库实现高并发网络连接。初始化流程如下：

步骤201，初始化服务程序的所用的数据结构；

步骤202，根据计算机的处理器核心数，调用libevent库接口创建N+1个event_base数据结构，event_base的个数一般跟计算机处理器的核心数相同，1个主event_base负责监听，剩余N个event_base负责处理连接的数据；

步骤203，创建与N个的线程，每个线程对应一个event_base，负责处理对应event_base的连接；

步骤204，接收服务程序读取规则配置，每条规则对应一个监听地址，为每个监听地址创建一个任务进入主event_base中，发送服务程序读取规则配置，每条规则对应一个目的地址；

步骤205，为每个event_base创建一个定时器事件，并加入event_base，创建定时器是为了避免event_base没有事件时空转浪费CPU资源；

步骤206，进入主event_base循环，开始监听事件。

图3所示的是运行在单向隔离传输设备外网侧的接收服务程序的工作流程示意图。接收服务程序接收外网主机上的发送客户端发起的连接，进行认证和接收数据，并将数据传输到单向隔离传输设备的内网侧。工作流程如下所示：

步骤301，初始化过程中将监听新连接的事件加入了主event_base，此时收到了外网客户端发起建立连接的请求；

步骤302，为新连接申请数据结构空间，用来保存连接的状态和该连接接收的数据；

步骤303，为该连接创建一个事件，将事件加入一个event_base中；

步骤304，event_base中的监听事件收到数据，即外网客户端发送了数据；

步骤305，获取该连接的数据结构空间，用于获取和更新该连接的状态，以及将接收的数据保存到该连接的空间；

步骤306，判断该连接是否断开，如果断开则执行步骤311，没有断开执行步骤307；

步骤307，判断该连接是否已经通过登录认证，已通过执行步骤308，还没有登录认证执行步骤309；

步骤308，收取数据包，调用单向隔离传输设备的发送接口将数据包发送到内网侧，执行步骤304；

步骤309，收取登录认证信息；

步骤310，判断认证信息，信息正确执行步骤304，不争取执行步骤311；

步骤311，释放为该连接分配的数据结构空间，从子event_base中删除事件。

图4所示的是部署在单向隔离传输设备内网侧的发送服务程序的主要工作流程示意图。发送服务程序接收外网侧的接收服务程序发送的数据包，从数据包中解析出对应的规则，获取要发送的目的地址并将数据包中的数据发送给接收客户端。单向隔离传输设备内网侧的服务程序使用了libevent网络库的bufferevent技术，bufferevent是一个基于socket的缓冲区，每个缓冲区会建立一个网络连接，缓冲区会自己处理网络连接。将从外网侧获取的数据写入缓冲区，网络库按序发送缓冲区中的数据，可以避免服务程序对连接的处理，简化了开发工作。内网侧的发送服务程序处理数据的主要工作流程如下所示：

步骤401，收到外网侧接收服务程序发送的数据包；

步骤402，从数据包中解析出对应连接的索引号和规则号，根据索引号可以找到对应数据结构空间，获取连接状态，规则号可以获取发送的目的地址；

步骤403，判断该数据包对应的连接的状态，已断开执行步骤404，否则执行步骤405；

步骤404，清理该连接的数据结构空间和对应的buffevent数据结构，完成该数据包的处理。

步骤405，判断该连接是否已分配bufferevent数据结构，未分配执行步骤406，已分配执行步骤408；

步骤406，获取规则号对应的目标IP地址和端口号；

步骤407，为数据包对应的连接分配一个bufferevent，bufferevent的目标即是获取目标IP和端口；

步骤408，将数据包中的数据写入bufferevent，完成数据包的处理。

图5所示的是外网主机上的发送客户端发送文件或文件夹的工作流程示意图。首先获取需要发送文件或文件夹的路径，将路径加入待发送队列，发送线程不断读取待发送队列发送待发送目标。具体发送流程如下：

步骤501，获取待发送目标的路径，并读取目标的属性信息；

步骤502，判断发送目标的属性，目标是文件夹执行步骤503，目标是文件执行步骤512；

步骤503，进入文件夹，组装数据包并发送，数据包类型是文件夹类型，内容是文件夹名称；

步骤504，文件夹中是否有未发送文件或文件夹，有则执行步骤505，没有则执行步骤509；

步骤505，目标是否是文件夹，不是则执行步骤506，是则执行步骤508；

步骤506，目标是文件，获取文件的名称和大小，组装数据包并发送，类型为文件头部，内容为文件名称和大小；

步骤507，发送文件的内容，数据包类型为文件内容，发送完文件内容，发送文件的MD5散列值，执行步骤504；

步骤508，组装数据包并发送，数据包类型是文件夹类型，内容是文件夹名称，执行步骤504；

步骤509，若是最外层文件夹执行步骤511，不是则执行步骤510；

步骤510，进入上层文件夹，执行步骤504；

步骤511，完成了目标文件夹的发送，发送完毕。

步骤512，获取文件的属性信息，组装数据包并发送，类型为文件头部，内容为文件名称和大小；

步骤513，发送文件的内容，数据包类型为文件内容，发送完文件内容，发送文件的MD5散列值；

步骤514，完成目标文件的发送，发送完毕。

图6所示的是内网主机上的接收客户端的数据包接收流程示意图。内网主机上的接收客户端采用libevent网络库技术，处理的是接收的一个个数据包不是连接，图6是收到的数据包的处理过程，具体流程如下所示：

步骤601，收到单向隔离传输设备内网侧发送的数据包，解析数据包的类型；

步骤602，若数据包类型为文件，执行步骤603，否则执行步骤612；

步骤603，判断数据包的子类型，若不是文件头部执行步骤604，若为文件头部执行步骤610；

步骤604，判断数据包子类型是否为文件内容，不是则执行步骤605，是则执行步骤606；

步骤605，数据包的子类型不正确，丢弃该数据包，完成该数据包的处理。

步骤606，将数据写入文件并更新该文件对应的MD5散列值；

步骤607，该文件已接收内容的长度是否等于文件长度，不等于则执行步骤608，等于则执行步骤609；

步骤608，数据包对应的文件还没有接收完成，继续接收文件数据，完成该数据包的处理。

步骤609，数据包对应的文件完成接收，关闭文件指针，完成该数据包的处理。

步骤610，从数据包中获取文件名称和文件大小，申请接收新文件所用数据结构空间；

步骤611，创建文件并初始化该文件对应的MD5散列值，完成对该数据包的处理。

步骤612，判断数据包的类型是否为文件夹，若为文件夹执行步骤613，否则执行步骤614；

步骤613，获取文件夹名称和相对路径，创建文件夹，完成对该数据包的处理。

步骤614，判断数据包的类型是否为MD5散列值，若为MD5散列值执行步骤616，否则执行步骤615；

步骤615，数据包类型错误丢弃数据包，完成对该数据包的处理。

步骤616，完成接收文件内容的MD5散列值计算；

步骤617，判断文件接收的MD5散列值与本地计算的MD5散列值是否一致，不一致则执行步骤618，一致则执行步骤619；

步骤618，MD5校验不通过，说明文件传输过程中出现错误，文件接收失败，完成对该数据包的处理。

步骤619，MD5校验通过，文件正确接收，完成对该数据包的处理。

综上所述，本发明提供了内外网单向隔离环境下文件同步的实现方法，此项技术主要针对电力企业内外网严格隔离环境下文件传输的需求，同时也适用于信息化大潮流背景下的其他行业领域。由于政府和企事业单位的内网往往有大量的机密，需要采用内外网隔离保证网络安全，同时内网也有从外网获取文件的需求，而该系统具有原理简单、实施方便、安全高效的特点，稳定传输文件，因此本技术方案具有很高的推广价值。

本发明提供了一种企业内外网单向隔离环境下文件同步的方法，具体实现该技术方案的方法和途径有多种，以上所述仅是本发明的优选实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和修饰。这些改进和润饰也应视为本发明的保护范围。以上所述方法未明确说明的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于单向传输通道的文件同步方法，其特征在于，包括：在外网主机和内网主机上分别部署的发送客户端和接收客户端，以及在单向隔离传输设备外网侧和内网侧分别部署的接收服务程序和发送服务程序；

所述外网主机运行的发送客户端连接外网侧的接收服务程序，接收服务程序通过单向传输通道将数据传输到内网侧的发送服务程序，所述发送服务程序将数据发送到内网主机的接收客户端；

所述单向隔离传输设备上的接收服务程序和发送服务程序采用libevent网络库处理网络连接，在程序初始化阶段首先对libevent网络库的数据结构进行初始化；所述单向隔离传输设备上的接收服务程序和发送服务程序初始化过程中调用libevent网络库接口创建N+1个event_base数据结构，1个主event_base负责监听，N个event_base负责处理连接的数据。

2.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述单向隔离传输设备上的接收服务程序和发送服务程序初始化过程中为每个event_base创建一个定时器事件并加入event_base。

3.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述单向隔离传输设备内网侧的发送服务程序采用libevent网络库的bufferevent技术，所述bufferevent是一个基于socket的缓冲区，每个缓冲区建立一个网络连接并自行处理网络连接，所述发送服务程序将从外网侧获取的数据写入缓冲区，libevent网络库按序将缓冲区中的数据发送至接收客户端。

4.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述外网主机上的发送客户端首先进行登录认证，认证成功后，获取需要发送文件或文件夹的路径，将路径加入待发送队列，发送线程不断读取待发送队列发送待发送目标至单向隔离传输设备外网侧的接收服务程序。

5.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述单向隔离传输设备外网侧的接收服务程序接收发送客户端发起的连接，为新连接申请数据结构空间，进行登录认证和接收数据，并将数据传输到单向隔离传输设备的内网侧。

6.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述单向隔离传输设备内网侧的发送服务程序接收外网侧接收服务程序发送的数据包，从数据包中解析出对应的规则，获取要发送的目的地址并将数据包中的数据发送给接收客户端。

7.根据权利要求1所述的基于单向传输通道的文件同步方法，其特征在于：所述内网主机上的接收客户端在处理数据包时，首先解析数据包的类型是文件还是文件夹，根据不同的数据包类型进行后续的校验接收或者丢弃处理。

Images