CN112055088B - 一种基于光闸的文件可靠传输系统及其方法 - Google Patents

Abstract

本发明公开了一种基于光闸的可靠文件传输系统及其方法，属应用于文件发送端、单向光闸、文件接收端之间的文件传输，文件传输服务可以使用HTTP、FTP等通信协议获取文件，并生成文件摘要，使用光闸设备进行文件传输后，文件接收端可以根据文件摘要进行可靠性验证，并发送传输回执。文件发送端使用传输回执作为发送任务的结果验证，同时纠错服务提供文件重试策略，从而保证文件能够通过光闸设备正常投递到接收端，减少数据传输丢失对系统的影响，减少维护人员的工作量。

Description

一种基于光闸的文件可靠传输系统及其方法

技术领域

本发明涉及通信技术领域，特别是一种基于光闸的文件可靠传输系统及其方法。

背景技术

随着信息化技术的发展，越来越多的信息通过网络进行传播。在网络通信环境中，为了实现对涉密信息的保护，很多单位或机构把内部网络和外部网络进行隔离，采用单向光闸，可以实现外部网络的数据传输到内部网络，而内部网络无法传输数据到外部网络。

虽然单向光闸可以保证内部网络免受来自外部网络的攻击，但是在光闸应用过程中，受限于设备的生产商、技术等差异，传递的文件并不能保证传输成功，传输过程中丢失的文件影响了系统的稳定性，增加了系统运维的复杂度和工作量。

发明内容

针对现有技术中存在的问题，本发明提供了一种可以解决现有系统中因光闸传输丢失文件而导致的问题的基于光闸的文件可靠传输系统及其方法。

本发明的目的通过以下技术方案实现。

一种基于光闸的文件可靠传输系统，在文件发送端和文件接收端之间设有单向光闸，所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块，所述传输服务模块分别与文件发送端和文件接收端相连接，所述存储服务模块与存储设备相连接。

所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块，所述文件传输接收模块与HTTP数据发送端相连接，所述文件传输监听模块与FTP/SFTP数据发送端相连接，所述传输任务订阅通知模块与HTTP文件接收端相连接。

所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块，所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。

所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。

一种基于光闸的文件可靠传输方法，步骤包括：

系统将文件发送给传输服务，在发送文件时，系统的文件传输选择有HTTP服务或FTP的共享目录方式；

系统将文件的摘要信息保存在请求的头信息中或文件名中，存储服务在接收到文件时，发现携带了摘要信息，会进行摘要信息的对比，从而强制保证系统传输的文件与预期一致；

或者系统不携带摘要信息，相应的，传输服务会以接收后计算的摘要信息作为光闸传输的校验依据；

对于摘要校验通过的文件，传输服务将生成处理任务的序列号，此序列号的生成无业务意义，仅作为任务处理过程的唯一追溯，后续的处理流程交给与光闸设备交互的存储模块进行。

所述存储模块将文件交给光闸进行传输并进行响应确认的步骤包括：

光闸将文件搬运至接收端的文件传输服务，接收端的存储模块获取文件的摘要信息，并与文件携带的摘要值进行校验；

如果校验不通过，则接收端的服务放弃本次传输任务，并记录操作日志；

如果校验通过，存储服务会将文件转储至系统设置的存储目录中；会使用携带的任务信息通知系统文件到达系统在收到达到通知后，异步的进行文件的下载；

完成的任务，存储服务需要对应的写入任务ACK响应文件，此文件交给光闸传输给发送端的存储服务。

设有文件传输服务的纠错策略执行过程，步骤如下：

纠错服务会对待响应的任务进行监听，对正常响应的任务，完成传输任务的状态变更，保证传输服务的完整性；

当任务的响应并不能正确送达传输服务的发送端，发送端的任务会使用最长响应时间的策略进行判断，如果超过响应时间，则纠错服务将此任务移至纠错队列；

在纠错服务中，对于需要进行重试纠错的文件发送任务，传输服务会设置一个重试策略，定义重试的频率、最大次数、最大队列数，从而保证纠错服务的稳定性。

当重试任务已经执行完纠错策略，依然无法收到任务的正确响应，传输服务会将此任务移至错误队列中，交给系统完成确认处理；当错误队列达到设置的阈值，传输服务会进行告警处理。

相比于现有技术，本发明的优点在于：本发明在光闸设备的交互过程中，文件可靠传输服务提供文件的传输和纠错处理，系统不与光闸设备交互，直接依赖传输服务完成传输。可以解决现有系统中因光闸传输丢失文件而导致的问题。文件发送端使用传输回执作为发送任务的结果验证，同时纠错服务提供文件重试策略，从而保证文件能够通过光闸设备正常投递到接收端，减少数据传输丢失对系统的的影响，减少维护人员的工作量。

附图说明

图1为本发明提供的传输场景。

图2为本发明提供的服务模块结构图。

图3为本发明提供的文件传输过程示意图。

图4为本发明提供的存储光闸搬运已经响应确认过程示意图。

图5为本发明提供的纠错过程示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

以下对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)FTP(File Transfer Protocol，文件传输协议)：是用于在网络上进行文件传输的一套标准协议，使用客户端/服务器模式，无需通信双方进行握手即可实现文件传输。

(2)SFTP(Secure File Transfer Protocol，安全文件传输协议)：除与FTP具有相同的语法和功能之外，还可以使用加密传输认证信息为传输的文件加密，为传输文件提供一种安全的网络加密方法，无需通信双方进行握手即可实现文件传输。

(3)HTTP(Hyper Text Transfer Protocol，超文本传输协议)是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。

在一种可能的实现方式中，可以采用物理层的单向分光传输技术，从最底层切断通信双方的双向连接，形成无反馈的单向传输，保证内部网络免受外部网络的攻击，该方式也称为物理隔离方式。例如，国家政府部门均要求采用物理隔离方式实现数据的单向传输。

在现有的设计中，光闸设备的传输并不保证完全的可靠性，在系统的数据传递中依然要考虑文件丢失的可能性，从而提高了系统的设计复杂度和运维复杂度。

基于以上原因，本发明实施例中提供了基于光闸的文件可靠传输服务，在光闸设备的交互过程中，文件可靠传输服务提供文件的传输和纠错处理，系统不与光闸设备交互，直接依赖传输服务完成传输。

一种基于光闸的文件可靠传输系统，如图1所示，系统应用在在文件发送端和文件接收端之间设有单向光闸，如图2所示，所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块，所述传输服务模块分别与文件发送端和文件接收端相连接，所述存储服务模块与存储设备相连接。文件传输服务包含传输、存储、纠错的关键模块。传输模块面向系统提供上传接收功能，存储模块面向光闸设备，纠错模块负责按照定义的策略进行文件传输的纠错处理。

所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块，所述文件传输接收模块与HTTP数据发送端相连接，所述文件传输监听模块与FTP/SFTP数据发送端相连接，所述传输任务订阅通知模块与HTTP文件接收端相连接。

所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块，所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。

所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。

本发明实施例中提供了一种文件传输方法，包括以下步骤：

文件发送端可以使用HTTP请求或FTP方式将文件传递给文件传输服务。

第一种传输方案，在请求协议中，文件发送端可以携带摘要信息，文件传输服务对携带的摘要信息进行强制的摘要校验。若文件发送端不携带文件摘要，文件传输服务会根据接收的文件生成摘要信息，此摘要信息为光闸搬运的校验依据。

在另一种实现方案中，文件传输服务监听传输目录，对于新增的文件进行摘要计算，并将摘要信息记录到文件中，同样的此摘要信息为光闸传输文件的校验依据。

新增文件会触发文件服务为当前传输生成一个传输任务，此任务的序列号为整个传输过程中的唯一查询追溯依据。后续的所有传输、校验、纠错等都使用此序列号。

传输服务中的存储模块，会将需要传输的文件搬运至光闸设备的传输目录。

完成搬运过程后，传输服务的发送端会将当前任务的状态设置为等待应答。

为了保证任务的执行稳定性，当等待应答的任务数量超过策略设定的阈值，会触发服务的告警机制。

传输服务的发送端对等待应答的任务有最大超时时间的阈值设置，在规定时间内，任务没有完成应答处理，则将任务转至纠错服务进行纠错处理。

传输服务的接收端服务会监听光闸的传输目录，新增的文件将触发接收端的存储服务进行文件处理。

接收端的存储服务接收到文件后，将文件中包含的摘要信息与计算的摘要进行对比校验，对于不一致的文件，存储服务丢弃本次任务。

对于校验一致的文件，接收端的存储服务会将任务的序列号信息写入ACK回执文件中，由光闸传递给外网的发送端服务。

外网的传输服务对ACK回执进行监听，如果正确收到回执信息，对应的任务的等待应答状态变更为已传输，完成本次文件传输。

纠错服务会使用预置的策略对响应超时的任务进行重试处理。

为了保证服务的稳定性，重试策略有对应的阈值，超出策略阈值的任务会进入失败队列，等待系统的确认。

如图3所示，描述了本发明实施例的文件传输过程，该模块包含如下步骤：

步骤1，系统将文件发送给传输服务，在发送文件时，系统可选的有HTTP服务或FTP的共享目录方式。

步骤2，系统可以将文件的摘要信息保存在请求的头信息中或文件名中，存储服务在接收到文件时，发现携带了摘要信息，会进行摘要信息的对比，从而强制保证系统传输的文件与预期一致。

系统也可以不携带摘要信息，相应的，传输服务会以接收后计算的摘要信息作为光闸传输的校验依据。

步骤3，对于摘要校验通过的文件，传输服务将生成处理任务的序列号，此序列号的生成无业务意义，仅作为任务处理过程的唯一追溯。后续的处理流程交给与光闸设备交互的存储模块进行。

如图4所示，描述了存储模块将文件交给光闸进行传输并进行响应确认的过程。

步骤1，光闸将文件搬运至接收端的文件传输服务，接收端的存储模块获取文件的摘要信息，并与文件携带的摘要值进行校验。

如果校验不通过，则接收端的服务放弃本次传输任务，并记录操作日志。

如果校验通过，存储服务会将文件转储至系统设置的存储目录中。一种可行的设计方案，会使用携带的任务信息通知系统文件到达。系统在收到达到通知后，可以异步的进行文件的下载。

步骤2，完成的任务，存储服务需要对应的写入任务ACK响应文件，此文件交给光闸传输给发送端的存储服务。

如图5所示，描述了文件传输服务的纠错策略执行过程。文件传输服务依赖光闸设备的单向传输，为了保证文件传输的正确性，本发明实施例在存储模块设计了ACK响应机制，使用响应确认机制完成任务的传输验证。

步骤1，纠错服务会对待响应的任务进行监听，对正常响应的任务，完成传输任务的状态变更，保证传输服务的完整性。

另一种场景下，任务的响应并不能正确送达传输服务的发送端，发送端的任务会使用最长响应时间的策略进行判断，如果超过响应时间，则纠错服务将此任务移至纠错队列。

步骤2，在纠错服务中，另一个重要的服务为纠错任务监听，对于需要进行重试纠错的文件发送任务，传输服务会设置一个重试策略，定义重试的频率、最大次数、最大队列数，从而保证纠错服务的稳定性。

在一种极端的场景下，重试任务已经执行完纠错策略，依然无法收到任务的正确响应，传输服务会将此任务移至错误队列中，交给系统完成确认处理。当错误队列达到设置的阈值，传输服务会进行告警处理。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于光闸的文件可靠传输系统，其特征在于在文件发送端和文件接收端之间设有单向光闸，所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块，所述传输服务模块分别与文件发送端和文件接收端相连接，所述存储服务模块与存储设备相连接；系统将文件发送给传输服务模块，在发送文件时，系统的文件传输选择有HTTP服务或FTP的共享目录方式；

系统将文件的摘要信息保存在请求的头信息中或文件名中，存储服务模块在接收到文件时，发现携带了摘要信息，会进行摘要信息的对比，从而强制保证系统传输的文件与预期一致；

或者系统不携带摘要信息，相应的，传输服务模块会以接收后计算的摘要信息作为光闸传输的校验依据；

对于摘要校验通过的文件，传输服务模块将生成处理任务的序列号，此序列号的生成无业务意义，仅作为任务处理过程的唯一追溯，后续的所有传输、校验、纠错流程交给与光闸设备交互的存储模块进行；设有文件传输服务的纠错策略执行过程，步骤如下：

纠错策略模块会对待响应的任务进行监听，对正常响应的任务，完成传输任务的状态变更，保证传输服务的完整性；

当任务的响应并不能正确送达传输服务模块的发送端，发送端的任务会使用最长响应时间的策略进行判断，如果超过响应时间，则纠错策略模块将此任务移至纠错队列；

在纠错策略模块中，对于需要进行重试纠错的文件发送任务，传输服务模块会设置一个重试策略，定义重试的频率、最大次数、最大队列数，从而保证纠错策略模块的稳定性；

当重试任务已经执行完纠错策略，依然无法收到任务的正确响应，传输服务模块会将此任务移至错误队列中，交给系统完成确认处理；当错误队列达到设置的阈值，传输服务模块会进行告警处理。

2.根据权利要求1所述的一种基于光闸的文件可靠传输系统，其特征在于所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块，所述文件传输接收模块与HTTP数据发送端相连接，所述文件传输监听模块与FTP/SFTP数据发送端相连接，所述传输任务订阅通知模块与HTTP文件接收端相连接。

3.根据权利要求1所述的一种基于光闸的文件可靠传输系统，其特征在于所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块，所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。

4.根据权利要求2或3所述的一种基于光闸的文件可靠传输系统，其特征在于所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。

5.一种基于光闸的文件可靠传输方法，其特征在于步骤包括：

系统将文件发送给传输服务模块，在发送文件时，系统的文件传输选择有HTTP服务或FTP的共享目录方式；

系统将文件的摘要信息保存在请求的头信息中或文件名中，存储服务模块在接收到文件时，发现携带了摘要信息，会进行摘要信息的对比，从而强制保证系统传输的文件与预期一致；

或者系统不携带摘要信息，相应的，传输服务模块会以接收后计算的摘要信息作为光闸传输的校验依据；

对于摘要校验通过的文件，传输服务模块将生成处理任务的序列号，此序列号的生成无业务意义，仅作为任务处理过程的唯一追溯，后续的所有传输、校验、纠错流程交给与光闸设备交互的存储模块进行；设有文件传输服务的纠错策略执行过程，步骤如下：

纠错策略模块会对待响应的任务进行监听，对正常响应的任务，完成传输任务的状态变更，保证传输服务的完整性；

当任务的响应并不能正确送达传输服务模块的发送端，发送端的任务会使用最长响应时间的策略进行判断，如果超过响应时间，则纠错策略模块将此任务移至纠错队列；

在纠错策略模块中，对于需要进行重试纠错的文件发送任务，传输服务模块会设置一个重试策略，定义重试的频率、最大次数、最大队列数，从而保证纠错策略模块的稳定性；

当重试任务已经执行完纠错策略，依然无法收到任务的正确响应，传输服务模块会将此任务移至错误队列中，交给系统完成确认处理；当错误队列达到设置的阈值，传输服务模块会进行告警处理。

6.根据权利要求5所述的一种基于光闸的文件可靠传输方法，其特征在于所述存储模块将文件交给光闸进行传输并进行响应确认的步骤包括：

光闸将文件搬运至接收端的文件传输服务模块，接收端的存储模块获取文件的摘要信息，并与文件携带的摘要值进行校验；

如果校验不通过，则接收端的服务放弃本次传输任务，并记录操作日志；

如果校验通过，存储服务模块会将文件转储至系统设置的存储目录中；会使用携带的任务信息通知系统文件到达，系统在收到达到通知后，异步的进行文件的下载；

完成的任务，存储服务模块需要对应的写入任务ACK响应文件，此文件交给光闸传输给发送端的存储服务模块。

Images