CN113422837A - 跨网数据传输装置、方法、终端及可读存储介质 - Google Patents

Abstract

本发明公开了一种跨网数据传输装置、方法、终端及可读存储介质，所述装置包括源FTP服务器，部署在数据存储内网中，用于为用户建立账号及分配不同访问权限；双向隔离网闸，部署在数据存储内网与外部用户专网之间，用于将源FTP文件复制到目标FTP文件中；目标FTP服务器，用于通过交换机接收目标FTP文件以实现数据跨网传输。本发明采用网闸和FTP数据服务技术，实现了大规模数据中心数据跨网分发的机制，具有成本低、效率高的优点。通过建立独立的管理网，实现对硬件设备的带外监管，既满足了跨网安全性要求，又实现了设备的远程集中监控。利用校验机制解决了网闸硬件设备存在的文件复制遗漏问题，确保了数据跨网传输的完整性。

Description

跨网数据传输装置、方法、终端及可读存储介质

技术领域

本发明涉及跨网数据传输技术领域，具体涉及一种跨网数据传输装置、方法、终端及可读存储介质。

背景技术

在大型数据中心里，经常面临大容量数据的采集、汇总、存储、分发工作，例如卫星遥感数据等。由于该工作数据量大、用户多且用户需求各异，须高效快速地完成大容量数据的应用管理，以维持系统的稳定运行。尤其是在部署应用多个互相隔离的专网的情况下，受限于安全保密要求，数据传输不能简单的用软件服务来完成，需要一套结合软件硬件、能够跨网完成数据传输的机制。该机制不仅能够确保长时间稳定、可靠地工作，并且传输速度快，能满足高性能数据中心数据处理工作的性能要求。

然而，现有的传输机制在面对数据量大、用户多、需求各异的数据处理要求的情况时，并不能快速、高效地完成大容量数据的应用管理，且会由于权限管理问题存在一定的安全风险；当部署应用多个互相隔离专网时，受限于安全保密要求，数据传输也不能简单的用软件服务来完成，即现有的传输方式不再适用。

发明内容

本发明的目的在于提供一种跨网数据传输装置、方法、终端及可读存储介质，以解决现有传输方式存在的局限性强、效率低及安全性无法保障的技术问题。

为了克服上述现有技术中的缺陷，本发明提供了一种跨网数据传输装置，包括：

源FTP服务器，部署在数据存储内网中，用于为用户建立账号及分配不同访问权限；

双向隔离网闸，部署在数据存储内网与外部用户专网之间，用于将源FTP文件复制到目标FTP文件中；

目标FTP服务器，部署在所述外部用户专网中，用于通过交换机接收所述目标FTP文件，以实现数据跨网传输。

进一步地，所述跨网数据传输装置，还包括：

监控管理终端，用于通过监控管理网对所述源FTP服务器、所述双向隔离网闸、所述目标FTP服务器及所述交换机进行远程监控。

进一步地，所述数据存储内网与所述外部用户专网之间利用物理隔离技术阻断数据通信。

进一步地，所述目标FTP服务器上部署有数据校验服务，所述数据校验服务包括：

利用所述源FTP服务器统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器中，生成复制文件清单；

利用所述目标FTP服务器，定时对比所述源文件清单与所述复制文件清单；

当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器生成空缺文件清单，并通过所述双向隔离网闸将所述空缺文件清单复制到所述源FTP服务器上；

根据所述空缺文件清单，利用所述源FTP服务器打包并发布对应的空缺文件，通过所述双向隔离网闸将所述空缺文件复制到所述目标FTP服务器上。

本发明还提供了一种跨网数据传输方法，包括：

利用源FTP服务器为用户建立账号及分配不同访问权限，并通过所述源FTP服务器发送源FTP文件；

通过双向隔离网闸接收所述源FTP文件，并将所述源FTP文件复制到目标FTP文件中；所述双向隔离网闸部署在数据存储内网与外部用户专网之间；

利用交换机接收所述目标FTP文件，并将所述目标FTP文件发送至目标FTP服务器，以实现数据跨网传输。

进一步地，所述跨网数据传输方法，还包括：

通过监控管理终端，利用监控管理网对所述源FTP服务器、所述双向隔离网闸、所述目标FTP服务器及所述交换机进行远程监控。

进一步地，所述数据存储内网与所述外部用户专网之间利用物理隔离技术阻断数据通信。

进一步地，所述跨网数据传输方法，还包括：

利用所述目标FTP服务器上进行数据校验，所述数据校验包括：

利用所述源FTP服务器统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器中，生成复制文件清单；

利用所述目标FTP服务器，定时对比所述源文件清单与所述复制文件清单；

当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器生成空缺文件清单，并通过所述双向隔离网闸将所述空缺文件清单复制到所述源FTP服务器上；

根据所述空缺文件清单，利用所述源FTP服务器打包并发布对应的空缺文件，通过所述双向隔离网闸将所述空缺文件复制到所述目标FTP服务器上。

本发明还提供了一种终端设备，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的跨网数据传输方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现如上任一项所述的跨网数据传输方法。

相对于现有技术，本发明的有益效果在于：

1)采用网闸和FTP数据服务技术，综合实现了大规模数据中心数据跨网分发的机制，该机制成本低、效率高、安全性好，适用于大规模数据中心内部多个专网的数据分发，除跨网传输采用网闸以外，未增加任何硬件设备。

2)建立独立的管理网，接入系统内所有设备的远程管理端口，实现对硬件设备的带外监管，既满足了跨网安全性要求，又实现了设备的远程集中监控。

3)在利用网闸实现跨网数据分发的结构基础上，采用了自行设计的文件传输校验机制，通过制作文件清单，并在目的端校验核对，生成缺失文件包再次发送，从而以软件的方式，解决了网闸硬件设备存在的文件复制遗漏问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的跨网数据传输装置的结构示意图；

图2是本发明另一实施例提供的跨网数据传输装置的结构示意图；

图3是与图2对应的跨网数据传输装置的架构图；

图4是本发明某一实施例提供的跨网数据传输方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面：

请参阅图1，本发明某一实施例提供了一种跨网数据传输装置，包括：

源FTP服务器01，部署在数据存储内网中，用于为用户建立账号及分配不同访问权限；

双向隔离网闸02，部署在数据存储内网与外部用户专网之间，用于将源FTP文件复制到目标FTP文件中；

目标FTP服务器04，部署在所述外部用户专网中，用于通过交换机03接收所述目标FTP文件，以实现数据跨网传输。

需要说明的是，本实施例中，在数据存储内网中部署了源FTP服务器01，该服务器用于为不同的用户建立账号，根据用户所需数据的不同，为每个用户分配数据目录访问权限。而目标FTP服务器04则部署在所述外部用户专网中，用于实现数据接收FTP服务。

本实施中，数据存储内网与外部用户专网之间物理隔离，无法直接进行数据通信。在两个网络之间，部署了双向隔离网闸02，为确保安全，双向隔离网闸02仅使用FTP文件复制模式，即指定源FTP目录与目的FTP目录，双向网闸自动将源FTP目录的内容复制到目的FTP目录，完成数据的跨网传输。

请参阅图2，在某一实施例中，所述跨网数据传输装置，还包括：

监控管理终端05，用于通过监控管理网对所述源FTP服务器01、所述双向隔离网闸02、所述目标FTP服务器04及所述交换机03进行远程监控。

需要说明的是，在本实施例中，各个服务器(目标FTP服务器04和源FTP服务器01)和网络设备的远程管理口统一接入监控管理网，专门处理所有相关设备运行状态监控问题，系统运行过程中，各设备通过远程管理端口集成设备状态，可单独访问单台设备管理，也可以通过自行开发的集成状态监控系统，统一监管设备运行状态。此外，在数据分发体系中，服务器、交换机03、网闸均安装有远程管理模块，通过建立独立的管理网，接入所有设备的管理口，在管理终端上远程管理系统中的相关硬件设备，实现对系统运行状态的集中监控和远程管理，适用于跨地区的广域网的综合管控。由于跨网设备管理无法通过带内监管实现，通过本实施例建立独立的管理网，对于跨网系统运行状态的监控具有重要意义。

请参阅图3，在某一实施例中，所述目标FTP服务器04上部署有数据校验服务，所述数据校验服务包括：

1)利用所述源FTP服务器01统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器04中，生成复制文件清单；

2)利用所述目标FTP服务器04，定时对比所述源文件清单与所述复制文件清单；

3)当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器04生成空缺文件清单，并通过所述双向隔离网闸02将所述空缺文件清单复制到所述源FTP服务器01上；

4)根据所述空缺文件清单，利用所述源FTP服务器01打包并发布对应的空缺文件，通过所述双向隔离网闸02将所述空缺文件复制到所述目标FTP服务器04上。

需要说明的是，在跨网传输状态下，往往难以实现发送端和接收端的有效通信。特别在实际工作中，经常发现目标FTP服务器04上同步的数据有缺失，并且数据占比最多达到5％。因此，对于数据分发结果必须进行校验，即监控数据传输是否准确到达。在本实施中，主要通过跨网状态下数据发送端和接收端的数据传输量地文件传输校验机制，确保所有数据准确地到达接收端。具体地，校验机制包括以下内容：

首先，数据发送端的源FTP服务器01上，部署了JAVA编写的数据统计服务。数据统计服务直接通过文件系统访问FTP的文件存储目录，统计内容包括：文件夹结构、每文件夹下文件清单及属性。在FTP服务的用户根目录下，建立固定的统计文件目录caculate，该目录下建立与FTP上用户的目录相同的目录树，每个文件夹下存储的是FTP上该对应文件夹下的文件清单，形式为XML文件。

然后，数据统计服务定时扫描用户FTP根目录生成文件统计清单，写入caculate目录，数据统计工作定时在每日零点执行。需要说明的是，选取每日零点只是一种优选方式，在实际应用中可根据需要进行灵活调整，在此不作出任何限定。

进一步地，双向网闸在做文件复制时，将caculate文件夹下的统计结果XML文件复制到目标FTP服务器04。目标FTP服务器04上部署数据校验服务，为避免带宽拥挤造成统计文件未及时传输，该服务每小时周期性扫描目录读取统计文件，读到当天的统计文件后，自动统计目标FTP服务器04上接收到的数据文件清单，将两者做比较后，生成一份目标FTP服务器04的空缺文件清单。目标FTP服务器04上也建立用于该清单发布的校验FTP服务，空缺文件清单发布到校验FTP服务下，由双向网闸同样用文件复制形式发送到源服务器上。源服务器上的数据统计服务检查到空缺文件清单，将所空缺的文件打包，复制到源服务器FTP服务根目录下的supplement目录下，由网闸单独复制到目标FTP服务器04上的对应目录。目标FTP服务器04上的数据校验服务将复制得到的文件解压缩后，拷贝到这些文件原目录位置，如果有同名文件，则采用覆盖策略。通过循环进行校验和补齐数据操作，确保通过网闸单向复制数据的完整性。

需要强调的是，本发明实施例提供的文件传输校验机制适用于源服务器数据与目的服务器数据不存在大量差异的情况下，如源服务器数据已有大量数据未复制到目的服务器，则先停用文件校验，待源服务器数据大量复制到目的服务器上，源服务器上的数据与目的服务器上的数据仅存在日增量差异的情况下适用，否则容易因为空缺文件过多，导致复制工作失败。该机制通过每日循环一次的校验和再次复制，最大限度地减少跨网复制文件缺失的数量。在实际应用过程中，若未使用文件传输校验机制，约存在3％～5％的文件不能成功复制的情况，而使用该文件传输校验机制后，能够保证不会出现文件遗漏现象。

本发明实施例提供的跨网数据传输装置，通过采用网闸和FTP数据服务技术，实现了大规模数据中心数据跨网分发的机制，该机制具有成本低、效率高、安全性好的优点。通过建立独立的管理网，接入系统内所有设备的远程管理端口，实现对硬件设备的带外监管，既满足了跨网安全性要求，又实现了设备的远程集中监控。此外，本跨网数据传输装置在利用网闸实现跨网数据分发的结构基础上，采用了自行设计的文件传输校验机制，通过制作文件清单，并在目的端校验核对，生成缺失文件包再次发送，从而以软件的方式，解决了网闸硬件设备存在的文件复制遗漏问题，确保了数据跨网传输的完整性。

第二方面：

请参阅图4，本发明某一实施例还提供了一种跨网数据传输方法，包括：

S10、利用源FTP服务器01为用户建立账号及分配不同访问权限，并通过所述源FTP服务器01发送源FTP文件；

S20、通过双向隔离网闸02接收所述源FTP文件，并将所述源FTP文件复制到目标FTP文件中；所述双向隔离网闸02部署在数据存储内网与外部用户专网之间；

S30、利用交换机03接收所述目标FTP文件，并将所述目标FTP文件发送至目标FTP服务器04，以实现数据跨网传输。

进一步地，所述跨网数据传输方法，还包括：

通过监控管理终端05，利用监控管理网对所述源FTP服务器01、所述双向隔离网闸02、所述目标FTP服务器04及所述交换机03进行远程监控。

进一步地，所述数据存储内网与所述外部用户专网之间利用物理隔离技术阻断数据通信。

进一步地，所述跨网数据传输方法，还包括：

利用所述目标FTP服务器04上进行数据校验，所述数据校验包括：

利用所述源FTP服务器01统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器04中，生成复制文件清单；

利用所述目标FTP服务器04，定时对比所述源文件清单与所述复制文件清单；

当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器04生成空缺文件清单，并通过所述双向隔离网闸02将所述空缺文件清单复制到所述源FTP服务器01上；

根据所述空缺文件清单，利用所述源FTP服务器01打包并发布对应的空缺文件，通过所述双向隔离网闸02将所述空缺文件复制到所述目标FTP服务器04上。

本发明实施例提供的跨网数据传输方法通过上述实施例提供的跨网数据传输装置来执行，该方法通过采用网闸和FTP数据服务技术，实现了大规模数据中心数据跨网分发的机制，该机制具有成本低、效率高、安全性好的优点。通过建立独立的管理网，接入系统内所有设备的远程管理端口，实现对硬件设备的带外监管，既满足了跨网安全性要求，又实现了设备的远程集中监控。此外，本跨网数据传输装置在利用网闸实现跨网数据分发的结构基础上，采用了自行设计的文件传输校验机制，通过制作文件清单，并在目的端校验核对，生成缺失文件包再次发送，从而以软件的方式，解决了网闸硬件设备存在的文件复制遗漏问题，确保了数据跨网传输的完整性。

第三方面：

本发明某一实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的跨网数据传输方法。

处理器用于控制该终端设备的整体操作，以完成上述的跨网数据传输方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

终端设备可以被一个或多个应用专用集成电路(ApplicationSpecific1ntegrated Circuit，简称AS1C)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的跨网数据传输方法，并达到如上述方法一致的技术效果。

本发明某一实施例还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任一项实施例所述的跨网数据传输方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由终端设备的处理器执行以完成如上述任一项实施例所述的跨网数据传输方法，并达到如上述方法一致的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种跨网数据传输装置，其特征在于，包括：

源FTP服务器，部署在数据存储内网中，用于为用户建立账号及分配不同访问权限；

双向隔离网闸，部署在数据存储内网与外部用户专网之间，用于将源FTP文件复制到目标FTP文件中；

目标FTP服务器，部署在所述外部用户专网中，用于通过交换机接收所述目标FTP文件，以实现数据跨网传输。

2.根据权利要求1所述的跨网数据传输装置，其特征在于，还包括：

监控管理终端，用于通过监控管理网对所述源FTP服务器、所述双向隔离网闸、所述目标FTP服务器及所述交换机进行远程监控。

3.根据权利要求1所述的跨网数据传输装置，其特征在于，所述数据存储内网与所述外部用户专网之间利用物理隔离技术阻断数据通信。

4.根据权利要求1-3任一项所述的跨网数据传输装置，其特征在于，所述目标FTP服务器上部署有数据校验服务，所述数据校验服务包括：

利用所述源FTP服务器统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器中，生成复制文件清单；

利用所述目标FTP服务器，定时对比所述源文件清单与所述复制文件清单；

当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器生成空缺文件清单，并通过所述双向隔离网闸将所述空缺文件清单复制到所述源FTP服务器上；

根据所述空缺文件清单，利用所述源FTP服务器打包并发布对应的空缺文件，通过所述双向隔离网闸将所述空缺文件复制到所述目标FTP服务器上。

5.一种跨网数据传输方法，其特征在于，包括：

利用源FTP服务器为用户建立账号及分配不同访问权限，并通过所述源FTP服务器发送源FTP文件；

通过双向隔离网闸接收所述源FTP文件，并将所述源FTP文件复制到目标FTP文件中；所述双向隔离网闸部署在数据存储内网与外部用户专网之间；

利用交换机接收所述目标FTP文件，并将所述目标FTP文件发送至目标FTP服务器，以实现数据跨网传输。

6.根据权利要求5所述的跨网数据传输方法，其特征在于，还包括：

通过监控管理终端，利用监控管理网对所述源FTP服务器、所述双向隔离网闸、所述目标FTP服务器及所述交换机进行远程监控。

7.根据权利要求5所述的跨网数据传输方法，其特征在于，所述数据存储内网与所述外部用户专网之间利用物理隔离技术阻断数据通信。

8.根据权利要求5-7任一项所述的跨网数据传输方法，其特征在于，还包括：

利用所述目标FTP服务器上进行数据校验，所述数据校验包括：

利用所述源FTP服务器统计源文件清单，并将所述源文件清单复制至所述目标FTP服务器中，生成复制文件清单；

利用所述目标FTP服务器，定时对比所述源文件清单与所述复制文件清单；

当所述源文件清单与所述复制文件清单存在差异时，利用所述目标FTP服务器生成空缺文件清单，并通过所述双向隔离网闸将所述空缺文件清单复制到所述源FTP服务器上；

根据所述空缺文件清单，利用所述源FTP服务器打包并发布对应的空缺文件，通过所述双向隔离网闸将所述空缺文件复制到所述目标FTP服务器上。

9.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5至8任一项所述的跨网数据传输方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求5至8任一项所述的跨网数据传输方法。

Images