CN112583743B - 一种分布式文件交换方法及装置 - Google Patents

Abstract

本发明涉及一种分布式文件交换方法及装置。文件交换方法包括以下步骤：步骤S1，建立交换服务协议并定时获取相关信息；步骤S2，提供方将文件基础信息上传至交换子系统并进行校验；步骤S3，提供方将文件分块上传至交换子系统，并对块的信息校验，最终把所有文件块合并；步骤S4，接收方获取文件基础信息并与交换子系统建立交换服务，交换子系统将文件分块传输至接收方，完成传输后将所有文件块合并。本发明通过分块、分布式文件交换，避免了文件传输中出现资源瓶颈的问题，提高了传输效率、满足了大量传输的需求，实现了文件断点续传，解决了文件重传耗时长的问题；同时系统中业务表也与文件基础信息关联，提供了可靠的文件交换服务。

Description

一种分布式文件交换方法及装置

技术领域

本发明涉及数据交换技术，尤其涉及一种分布式文件交换方法及装置。

背景技术

目前，国内各地政府部门和机构或多或少均建立起自己的信息化系统，包括门户网站内容治理系统、OA办公系统、办事审批系统、其它业务系统等。但由于诸多因素的影响，即使同一地区的政府机构间也无法进行合理、有效的沟通，可以说是一座座的“信息孤岛”。

政务数据共享交换平台是政府电子政务支撑平台，在多个不同的政务应用系统之间架起了桥梁，实现数据资源的共享，有效解决过去政府信息化过程中形成的信息孤岛问题，实现跨部门跨组织的事务处理，是一站式电子政务的基础软件。

传统的政务文件数据共享交换过程中，主要采用集中的文件存储系统采用存储服务器存放所有数据。存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。文件对外提供服务时，文件与业务表记录信息分离，使用方无法根据业务关联相应文件。文件传输受网络波动原因中断而必须重传。如果通过FTP协议方式进行传输，使用FTP进行文件传输时，本身不支持增量文件自动发现、因网络故障文件断点续传等能力、确政务数据共享交换平台无法对端对端的文件传输情况进行实时监控与管理，无法得知文件交换共享任务的实时情况。

在政务数据交换共享过程中主要以数据库表结构化数据和文件数据交换为主要数据源。在文件数据交换过程的主要方式有FTP方式和文件上传下载方式提供。FTP方式是采用政务数据共享交换平台为需要进行文件交换的部门前置机搭建FTP服务器通道，通过定时调度方式全量将源前置机FTP目下文件通过FTP文件传输协议传输到目标部门文件服务器前置机。使用FTP进行文件传输，无法对增量文件进行传输，且没有对文件进行断点续传，当中途网络断了，需要重新创建连接服务进行重新传输。FTP文件传输主要为端对端进行文件传输交换，政务数据交换平台无法对FTP各个前置机进行文件传输交换的情况进行实时监控、实时管理，从而无法提供可靠的文件交换服务。而文件上传下载服务是主要是文件提供部门登录平台将文件通过政务数据共享交换平台上次功能进行文件手动上传，获取部门再登录平台进行手工下载。通过手动上传下载，一方面是无法满足大量文件内容的高效传输，整个上传下载过程效率极其低下。

发明内容

本发明的目的在于为克服现有技术的缺陷，而提供一种分布式文件交换方法，实现分块、分布式文件交换，以提高传输效率、满足大量传输，还可以满足断点续传。

为实现上述目的，本发明采用以下技术方案：一种分布式文件交换方法，涉及文件的提供方、接收方、交换中心和分布式的交换子系统，文件交换方法包括以下步骤：

步骤S1，建立交换服务协议并定时获取相关信息；

步骤S2，提供方将文件基础信息上传至交换子系统并进行校验；

步骤S3，提供方将文件分块上传至交换子系统，并对块的信息校验，最终把所有文件块合并；

步骤S4，接收方获取文件基础信息并与交换子系统建立交换服务，交换子系统将文件分块传输至接收方，完成传输后将所有文件块合并。

步骤S1包括：提供方在交换中心建立与交换子系统的交换服务协议，交换子系统通过定时调度从交换中心获取部门目录信息并设置文件基础信息的关联字段。

步骤S2包括：提供方获取批次标识并缓存到内存，然后将文件基础信息上传至交换子系统；在批次结束后，交换子系统获取到文件结束批次指令并将缓存中的批次数据中的文件基础信息入库。

步骤S2还包括：提供方在完成文件基础信息上传后，提供方提供上传文件的基本参数，建立与交换子系统的文件交换服务；交换子系统对上传文件的基本参数与库中的文件基础信息进行对比校验。

步骤S3包括：提供方将文件分块并上传至交换子系统的临时目录；交换子系统对文件块的信息进行校验并将文件块的信息缓存至分布式文件存储系统。

步骤S3还包括：所有文件块传输完成后进行最终校验，将文件块存入分布式文件存储系统并进行合并；随后将文件基础信息存储到交换子系统的前置机中并反馈成功信息至提供方。

步骤S4包括：

交换中心将存储到交换子系统的前置机的文件基础信息交换到接收方；

接收方将从交换中心获取到的文件基础信息及接收方本地存储目录信息作为参数，提供给交换子系统以建立文件交换服务；

交换子系统对接收到的参数与分布式文件存储系统中的文件信息进行对比校验，若校验成功，则将文件分块传输至接收方。

步骤S4还包括：接收方将文件块存储在接收方所提供的本地存储目录中；当接收到完成指令时，将修改缓存中文件传输状态为完成，监听线程监听到状态修改，将对文件块进行合并。

本发明还公开了一种电子设备，包括：处理器以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现以上的文件交换方法。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上的文件交换方法。

本发明与现有技术相比的有益效果是：通过分块、分布式文件交换，避免了文件传输中出现资源瓶颈的问题，提高了传输效率、满足了大量传输的需求，实现了文件断点续传，解决了文件重传耗时长的问题；同时系统中业务表也与文件基础信息关联，提供了可靠的文件交换服务。

附图说明

图1为本发明文件交换方法涉及各个终端的框架连接图。

图2为本发明文件交换方法流程图。

需要说明的是，以上视图所示产品均为适应图纸大小及视图清楚而进行了适当的缩小/放大，并不对视图所示产品大小加以限制。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例。相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本实施例是一种分布式文件交换方法，涉及到文件的提供方、接收方、交换中心和分布式的交换子系统(如图1所示)。交换中心是整个政务系统数据的交换平台，而分布式交换子系统则是具体执行文件交换的系统。

如图2所示，文件交换方法包括以下步骤：步骤S1，建立交换服务协议并定时获取相关信息；步骤S2，提供方将文件基础信息上传至交换子系统并进行校验；步骤S3，提供方将文件分块上传至交换子系统，并对块的信息校验，最终把所有文件块合并；步骤S4，接收方获取文件基础信息并与交换子系统建立交换服务，交换子系统将文件分块传输至接收方，完成传输后将所有文件块合并。

本实施例的文件交换方法通过分块、分布式文件交换，避免了文件传输中出现资源瓶颈的问题，提高了传输效率、满足了大量传输的需求，实现了文件断点续传，解决了文件重传耗时长的问题。同时系统中业务表也与文件基础信息关联，提供了可靠的文件交换服务。

以下对分布式文件交换方法的各个步骤进行详细描述。

步骤S1是用于建立交换服务协议并定时获取相关信息。具体地，在步骤S1中，提供方在交换中心建立与交换子系统的交换服务协议。交换子系统的数据传输和文件传输协议是在Netty框架下基于TCP协议的自定协议。交换子系统通过定时调度从交换中心获取部门目录信息并设置文件基础信息的关联字段。部门目录信息是指政务各个部门下方的文件目录信息。文件基础信息的关联字段至少包含有文件名、路径、大小等。

步骤S2用于控制提供方将文件基础信息上传至交换子系统并进行校验。具体地，在步骤S2中，提供方获取待上传的文件的批次标识并缓存到内存中，然后将待上传的文件的文件基础信息上传至交换子系统的缓存中。其中文件基础信息包括文件唯一标识、文件名、文件MD5、文件路径、目标系统标识、部门名称和用户名称。在批次结束后，由提供方结束批次上传，交换子系统获取到文件结束批次指令后将缓存中的批次数据中的文件基础信息存入数据库中。在提供方完成了文件基础信息上传后，再由提供方提供待上传的文件的基本参数。文件的基本参数包括：文件路径、目标系统标识、用户名称、文件和文件唯一标识。最后基于步骤S1中所设置的文件基础信息的关联字段表记录，交换子系统对上传文件的基本参数与数据库中存储的文件基础信息进行对比校验。若对比校验成功，则可以进行后续步骤。若对比校验不成功，则返回校验错误信息并将错误信息记录到交换日志中以便查询文件交换状态。

步骤S3是用于控制提供方将文件分块上传至交换子系统，并对块的信息校验，最终把所有文件块合并。具体地，步骤S3中，基于步骤S2校验成功的文件基本参数，在步骤S2校验成功的文件会被提供方设定分块大小然后按照块大小进行分块。文件块主要由块序号、文件名、路径、数据内容以及数据长度等基础信息构成。随后提供方先将各个文件块上传至交换子系统的临时目录。交换子系统要对文件块的信息进行校验，其中需要对文件块的序列号、路径和文件名进行校验。而同时交换子系统将文件块的校验的信息缓存至分布式文件存储系统。文件块与文件块信息是一同传输的，但是考虑到文件块数据量大而且是非结构话数据不适合存储到数据库中，因为存储到数据库会导致数据库数据压力大，使得查询效率低，增删都需要比较长时间去处理，所以分开存放。文件块信息用于寻找文件块存放目录和校验完整性。

当所有文件块传输完成后，交换子系统会检测到完成指令，随后对文件块进行最终校验。最终校验是对文件名、文件路径和块序号与缓存中文件块信息进行校验，以校验文件块是否有缺失。然后将所有文件块存入分布式文件存储系统中，并通过合并指令对分布式文件存储系统中所有文件块进行合并操作，形成完整的文件。完成文件合并操作后将S2步骤的数据库中存储的文件基础信息存储到交换子系统的前置机中，并反馈操作成功信息至提供方。

步骤S4用于控制接收方获取文件基础信息并与交换子系统建立交换服务，然后交换子系统将文件分块传输至接收方，完成传输后将所有文件块合并。具体地，在步骤S4中，交换中心先将存储到交换子系统的前置机的文件基础信息交换到接收方。随后接收方将从交换中心获取到的文件基础信息及接收方本地存储目录信息作为参数，提供给交换子系统，以此建立文件交换服务。最后交换子系统对接收到的参数中的文件基础信息与数据库中的文件信息进行对比校验，若校验成功，则交换子系统将文件分块传输至接收方。接收方将接收到的文件块存储在接收方所提供的本地存储目录中。当接收到完成指令时，将修改缓存中文件传输状态为完成，监听线程监听到状态修改，最后将对文件块合并成完整文件，完成文件交换服务流程。

此外，在本发明的实施例中，还提供了一种能够实现上述文件交换方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理单元、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线、显示单元。

其中，存储单元存储有程序代码，程序代码可以被处理单元执行，使得处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，处理单元可以执行本发明文件交换方法的步骤S1至步骤S4。

存储单元可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。

存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述文件交换方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

根据本发明的实施例的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (8)

1.一种分布式文件交换方法，其特征在于，涉及文件的提供方、接收方、交换中心、分布式的交换子系统，所述交换中心是整个政务系统数据的交换平台，而分布式交换子系统则是具体执行文件交换的系统；所述文件交换方法包括以下步骤：

步骤S1，建立交换服务协议并定时获取相关信息：提供方在交换中心建立与交换子系统的交换服务协议，交换子系统通过定时调度从交换中心获取部门目录信息并设置文件基础信息的关联字段；

步骤S2，提供方将文件基础信息上传至交换子系统并基于步骤S1中所设置的文件基础信息的关联字段表记录进行校验；

步骤S3，提供方将文件分块上传至交换子系统，并对块的信息校验，最终把所有文件块合并；

步骤S4，接收方获取文件基础信息并与交换子系统建立交换服务，交换子系统将文件分块传输至接收方，完成传输后将所有文件块合并：交换中心将存储到交换子系统的前置机的文件基础信息交换到接收方；接收方将从交换中心获取到的文件基础信息及接收方本地存储目录信息作为参数，提供给交换子系统以建立文件交换服务；交换子系统对接收到的参数与分布式文件存储系统中的文件信息进行对比校验，若校验成功，则将文件分块传输至接收方。

2.如权利要求1所述的分布式文件交换方法，其特征在于，所述步骤S2包括：提供方获取批次标识并缓存到内存，然后将文件基础信息上传至交换子系统的缓存中；在批次结束后，交换子系统获取到文件结束批次指令并将缓存中的批次数据中的文件基础信息入库。

3.如权利要求2所述的分布式文件交换方法，其特征在于，所述步骤S2还包括：提供方在完成文件基础信息上传后，提供方提供上传文件的基本参数，建立与交换子系统的文件交换服务；交换子系统对上传文件的基本参数与库中的文件基础信息进行对比校验。

4.如权利要求1所述的分布式文件交换方法，其特征在于，所述步骤S3包括：提供方将文件分块并上传至交换子系统的临时目录；交换子系统对文件块的信息进行校验并将文件块的信息缓存至分布式文件存储系统。

5.如权利要求4所述的分布式文件交换方法，其特征在于，所述步骤S3还包括：所有文件块传输完成后进行最终校验，将文件块存入分布式文件存储系统并进行合并；随后将文件基础信息存储到交换子系统的前置机中并反馈成功信息至提供方。

6.如权利要求5所述的分布式文件交换方法，其特征在于，所述步骤S4还包括：接收方将文件块存储在接收方所提供的本地存储目录中；当接收到完成指令时，将修改缓存中文件传输状态为完成，监听线程监听到状态修改，将对文件块进行合并。

7.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至6中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至6中任一项所述的方法。

Images