CN103929455A - 包含网络存储设备的异步文件传输系统及其传输方法 - Google Patents

Abstract

本发明公开了一种包含网络存储设备的异步文件传输系统及其传输方法，该系统包括送端和接收端，发送端和接收端设置有状态控制单元、传输单元和转储单元，该方法包括步骤：S1发送端状态控制单元获取接收端网络存储设备状态；S2根据网络存储设备状态控制发送端传输单元的文件传输；S3接收端接收传输文件后向发送端反馈传输文件接收状态；S4接收端转存传输文件，向发送端反馈传输文件存储状态。采用本发明的系统及其方法能够将网络存储设备的问题自动反馈到发送端，及时获得网络存储设备的状态，实现了传输的自动暂停和恢复，降低了因某个网络存储设备故障对其它传输任务的影响，提高了传输成功率，节约了人工干预的工作量，保障了传输效率。

Description

包含网络存储设备的异步文件传输系统及其传输方法

技术领域

本发明涉及数据文件传输领域，特别涉及一种包含网络存储设备的异步文件传输系统及其传输方法。

背景技术

随着企业信息化程度日渐深化，规模日渐扩大，许多企业信息系统需要将承载业务信息的文件从系统中一端发往另一端进行非实时的文件处理、文件备份、文件同步等。

最初分布式传输应用的需求集中在解决传输功能的复杂性、异构系统的开发难度、传输过程的可靠性、高效性、安全性等方面，故采用异步传输中间件作为文件传输软件的核心以提供良好的传输服务。异步传输中间件能够提供松耦合的连接，发送方在发送文件时不必知道接收方的状态，更无需等待接收方的回复，而接收方在收到文件时也不必知道发送方的目前状态，无需进行实时的文件处理，它们之间的通信是非阻塞的，这种异步通信方式是由消息中间件中的消息队列及其服务机制保障的。实际应用中，这种模式极大地简化了文件传输应用，在传输成功率、传输效率等方面具有很好的效果。

随着大数据时代到来，企业信息系统的文件数量急剧增长，而网络存储设备的低成本高性能特性，使得越来越多的分布式应用系统采用网络存储设备来解决海量文件存储。NAS（Network AttachedStorage）简单来说就是连接在网络上、具备资料存储功能的装置，是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。一些跨区域的大中型企业中，甚至让各个分部将其NAS磁盘直接挂载到总部的文件接收服务器上，便于直接使用原来的文件传输软件（只需重新配置目的目录）向分部传输文件。

在没有引入NAS之前，传输中间件不需要考虑文件的接收目录与文件接收服务器不在同一台计算机设备上的情况，因此传输逻辑比较简单：发送方只需将文件消息写入队列，如果无法入队列，说明接收方可能因传输故障、磁盘空间已满等原因造成队列满，发送方自动暂停文件写入，待故障解决后自动恢复文件发送。无论是发送方还是接收方，都不需要了解对方状态就能简洁、有效地完成文件传输。

但是随着存储管理模式发生变化，带来一些不同于以往的问题。比如，一台总部文件接收服务器上挂载多个分部NAS磁盘时，如果某个NAS磁盘与服务器之间的网络中断，或者某个NAS磁盘空间满或磁盘目录权限错误，则接收端文件传输服务器无法向该NAS磁盘写入文件，该消息留在队列中，造成接收端文件传输服务器无法继续接收余下的消息，而发送端继续发送，队列很快塞满，最终导致其它正常NAS磁盘也无法得到文件。又如，当文件发送服务器和文件接收服务器之间的传输性能与文件接收服务器和某NAS之间的传输性能不匹配时，整体传输性能被性能较低环节拉低，也就是说，某个NAS的低IO性能会导致其它NAS接收文件速度降低。

综上所述，由于引入NAS的同时也引入了更多的网络、磁盘空间、目录权限等问题，导致在一个发送端对应一个接收端及接收端本地多个目录的场景下机制健全的异步传输中间件不能满足一个发送端对应一个接收端及多个NAS目录的场景，异步传输的优势被抵消，文件传输的成功率和传输效率降低，运维工作量增加。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提供一种包含网络存储设备的异步文件传输系统及其传输方法，可以及时获得网络存储设备的状态，进而实现传输的自动暂停和恢复，降低因某个网络存储设备故障的影响，提高传输成功率，节约人工干预的工作量，保障传输效率。

（二）技术方案

为解决上述技术问题，本发明提供了一种包含网络存储设备的异步文件传输系统，该系统包括发送端和接收端，所述接收端与网络存储设备连接，所述发送端包括：

状态控制单元，用于获取接收端网络存储设备状态，控制传输单元传输文件，获取接收端传输文件的接收和存储状态；

传输单元，用于向接收端传输文件；

所述接收端包括：

状态控制单元，用于定时获取接收端网络存储设备的状态，并将网络存储设备的状态反馈给发送端状态控制单元，向发送端状态控制单元反馈传输文件的接收和存储状态；

传输单元，用于接收发送端传输的文件；

转储单元，用于将接收到的传输文件转存到网络存储设备中。

优选的，所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

优选的，所述发送端状态控制单元通过向接收端发送网络存储设备状态请求和接收网络存储设备状态应答来获取接收端网络存储设备状态，所述接收端状态控制单元根据接收端网络存储设备的网络连接情况和磁盘剩余空间情况应答发送端状态控制单元发送的网络存储设备状态请求，并在网络存储设备状态改变时通知发送端状态控制单元。

优选的，所述发送端状态控制单元根据网络存储设备状态控制发送端传输单元文件的传输。

本发明还提供了一种包含网络存储设备的异步文件传输方法，该方法包括步骤：

S1 发送端状态控制单元获取接收端网络存储设备状态；

S2 发送端状态控制单元检查传输文件的目的地接收端网络存储设备状态是否正常，如果正常，则控制发送端传输单元传输文件，否则该文件暂不发送；

S3 发送端传输单元向接收端传输文件；

S4 接收端传输单元接收发送端传输单元发送的传输文件，接收端状态控制单元根据文件接收是否成功，向发送端状态控制单元发送文件接收成功应答或文件接收失败应答；

S5 文件接收成功时，接收端转储单元将传输文件移动到网络存储设备传输文件的目的地下，并根据传输文件转储是否成功向接收端发送文件转储成功应答或文件转储失败应答，接收端状态控制单元接收到文件转储成功应答，视为文件传输成功。

优选的，步骤S1中所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

优选的，步骤S1中所述接收端网络存储设备状态的获取方法为：发送端状态控制单元向接收端发送网络存储设备状态请求，接收端状态控制单元定时获取接收端网络存储设备的状态，向发送端状态控制单元发送网络存储设备状态应答，发送端状态控制单元根据网络存储设备状态应答更新目的地状态表。

优选的，当接收端网络存储设备的网络连接不通或磁盘剩余空间不足时，接收端状态控制单元发送端发送网络存储设备暂停状态通知，当接收端网络存储设备的网络和磁盘空间恢复时，接收端状态控制单元向发送端发送网络存储设备恢复状态通知，发送端接收网络存储设备恢复状态通知后更新目的地状态表。

优选的，步骤S5中发送端在收到文件接收成功应答后，启动超时时间计时，如果在超时时间内收到文件转储成功应答，视为传输文件传输成功。

优选的，所述网络存储设备为NAS网络连接式存储设备。

（三）有益效果

采用本发明包含网络存储设备的异步文件传输系统及其传输方法能够在利用异步传输特性的同时，将网络存储设备的问题自动反馈到发送端，及时获得网络存储设备的状态，实现了传输的自动暂停和恢复，降低了因某个网络存储设备故障对其它传输任务的影响，提高了传输成功率，节约了人工干预的工作量，保障了传输效率。

附图说明

图1是本发明实施例文件传输系统传输流程图。

图2是本发明实施例文件传输方法流程图。

图3是本发明实施例网络存储设备出现故障和修复的情况下的文件传输方法流程图。

图4是本发明实施例文件传输过程中网络存储设备出现故障和修复的情况下的文件传输方法流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例的一种包含网络存储设备的异步文件传输系统，如图1所示，该系统包括发送端和接收端，所述接收端与网络存储设备连接，所述发送端包括：

状态控制单元，用于获取接收端网络存储设备状态，控制传输单元传输文件，获取接收端传输文件的接收和存储状态；

传输单元，用于向接收端传输文件；

所述接收端包括：

状态控制单元，用于定时获取接收端网络存储设备的状态，并将网络存储设备的状态反馈给发送端状态控制单元，向发送端状态控制单元反馈传输文件的接收和存储状态；

传输单元，用于接收发送端传输的文件；

转储单元，用于将接收到的传输文件转存到网络存储设备中。

优选的，所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

优选的，所述网络存储设备为NAS网络连接式存储设备。

具体的：

发送端的文件传输服务器启动时，其状态控制单元向所有作为接收端的文件传输服务器发送“NAS状态请求”报文，并根据“NAS状态应答”报文更新目的地状态表，获得接收端网络存储设备状态。接收端的文件传输服务器启动时，启动状态控制单元，定时扫描本机挂载NAS状态，并对发送端NAS状态请求报文进行应答。所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

发送端的文件传输服务器状态控制单元在发送文件前先从目的地状态表中获取接收端文件传输服务器状态，通过发送端传输单元向状态为“正常”的接收端文件传输服务器传输文件，接收端的文件传输服务器通过传输单元直接将接收到的文件存放在本地目录下，并通过状态控制单元向发送端返回“文件接收成功/失败应答”报文。

接收端文件传输服务器的转储单元将文件移动到相应的NAS目录中，转储成功后向发送端返回“文件转储成功/失败应答”报文。

接收端状态控制单元向发送端状态控制单元返回“文件转储成功/失败应答”报文。发送端状态控制单元只有在收到“文件转储成功应答”报文才将该文件视为发送成功。如果发送端只接收到“文件接收成功应答”报文，在超时时间内未收到“文件转储成功应答”报文，说明因NAS网络断、NAS网络慢、NAS磁盘空间不足等原因，该文件尚未转储成功。只要网络或磁盘空间恢复，该文件即可自动转储，无需从发送端再次传输。

优选的，接收端状态控制单元监控到NAS的网络或磁盘故障，向发送端状态控制单元发送“NAS暂停状态通知”报文。发送端状态控制单元更新目的状态表，停止执行与该目的地相关的传输任务；接收端状态控制单元监控到NAS的故障修复后，向发送端状态控制单元发送“NAS恢复状态通知”报文，发送端状态控制单元更新目的状态表，恢复执行与该目的地相关的传输任务。

本发明实施例的一种包含网络存储设备的异步文件传输方法如图2所示，该方法具体包括步骤：

S1：发送端的文件传输服务器启动时，其状态控制单元向所有作为接收端的文件传输服务器发送“NAS状态请求”报文，并根据“NAS状态应答”报文更新目的地状态表；接收端的文件传输服务器启动时，启动状态控制单元，定时扫描本机挂载NAS状态，并对发送端NAS状态请求报文进行应答。

S2：发送端的文件传输服务器通过状态控制单元在发送文件前先从目的地状态表中获取接收端文件传输服务器状态，向状态为“正常”的接收端文件传输服务器传输文件。

S3：发送端传输单元向接收端传输文件；

S4：接收端的文件传输服务器通过传输单元直接将接收到的文件存放在本地目录下，并向发送端返回“文件接收成功应答”报文。

S5：接收端文件传输服务器的转储单元将文件移动到相应的NAS目录中，接收端文件传输服务器通过状态控制单元向发送端文件传输服务器返回“文件转储成功/失败应答”报文。发送端的文件传输服务器状态控制单元只有在收到“文件转储成功应答”报文才将该文件视为发送成功。如果发送端只接收到“文件接收成功应答”报文，在超时时间内未收到“文件转储成功应答”报文，说明可能因NAS网络断、NAS网络慢或NAS磁盘空间不足等原因造成该文件尚未转储成功。只要网络或磁盘空间恢复，该文件即可自动转储，无需从发送端再次传输。

如图3所示，为网络存储设备出现故障和修复的情况下的文件传输方法，该方法步骤如下：

S1：接收端的文件传输服务器状态控制单元定时扫描本机挂载的NAS网络情况和磁盘空间情况，如果某NAS网络断或磁盘空间不足（如图中NAS1），则向目前与本服务器有传输关系的发送端文件传输服务器发送“NAS1暂停状态通知”报文，发送端文件传输服务器收到该报文后将对应文件传输服务器对应NAS状态更新为“暂停”。

S2：发送端的文件传输服务器状态控制单元在发送文件前先从目的地状态表中获取对应的接收端文件传输服务器NAS状态。如果传输任务目的目录所在NAS状态为“暂停”，则不执行该任务；如果传输任务目的目录所在NAS状态为“正常”，则执行该任务。本实施例中目的目录为NAS1目录的文件将不进入队列，目的目录位于NAS2、NAS3的文件正常传输。

S3：接收端的文件传输服务器状态控制单元定时扫描本机挂载的NAS网络情况和磁盘空间情况，如果某NAS网络恢复或磁盘空间恢复（如图中NAS1），则向目前与本服务器有传输关系的发送端文件传输服务器发送“NAS1恢复状态通知”报文，发送端文件传输服务器收到该报文后将对应文件传输服务器状态对应NAS状态更新为“正常”。

S4：发送端的文件传输服务器在发送文件前先从目的地状态表中获取对应的接收端文件传输服务器NAS状态。如果传输任务目的目录所在NAS状态为“暂停”，则不执行该任务；如果传输任务目的目录所在NAS状态为“正常”，则执行该任务。本实施例中目的目录为NAS1目录的文件将开始进入队列正常传输。

如图4所示，在文件传输过程中某NAS出现故障和恢复情况下的文件传输方法，步骤如下：

S0：发送端正在向接收端传输目的目录为NAS2目录的文件。

S1：接收端状态控制单元监控到NAS2的网络或磁盘故障，向发送端状态控制单元发送“NAS2暂停状态通知”报文。发送端状态控制单元更新目的状态表，新发往该NAS目录的文件不会进入队列，已经进入队列的文件将继续传输。

S2：接收端状态控制单元向发送端文件传输服务器发送“文件接收成功/失败应答”报文。

S3：接收的状态控制单元将文件接收到本地目录下，根据NAS状态自动尝试将文件移动到NAS目录下。当NAS故障恢复后，移动成功。

S3：接收端的状态控制单元定时扫描本机挂载的NAS网络情况和磁盘空间情况，

S4：如果某NAS网络恢复或磁盘空间恢复（如图中NAS1），则向目前与本服务器有传输关系的发送端状态控制单元发送“NAS1恢复状态通知”报文，发送端状态控制单元收到该报文后将对应文件传输服务器状态对应NAS状态更新为“正常”。

S:5：接收端状态控制单元向发送端状态控制单元返回“文件转储成功/失败应答”报文。发送端视本文件发送成功。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种包含网络存储设备的异步文件传输系统，该系统包括发送端和接收端，所述接收端与网络存储设备连接，其特征在于，所述发送端包括：

状态控制单元，用于获取接收端网络存储设备状态，控制传输单元传输文件，获取接收端传输文件的接收和存储状态；

传输单元，用于向接收端传输文件；

所述接收端包括：

状态控制单元，用于定时获取接收端网络存储设备的状态，并将网络存储设备的状态反馈给发送端状态控制单元，向发送端状态控制单元反馈传输文件的接收和存储状态；

传输单元，用于接收发送端传输的文件；

转储单元，用于将接收到的传输文件转存到网络存储设备中。

2.权利要求1所述的包含网络存储设备的异步文件传输系统，其特征在于，所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

3.权利要求2所述的包含网络存储设备的异步文件传输系统，其特征在于，所述发送端状态控制单元通过向接收端发送网络存储设备状态请求和接收网络存储设备状态应答来获取接收端网络存储设备状态，所述接收端状态控制单元根据接收端网络存储设备的网络连接情况和磁盘剩余空间情况应答发送端状态控制单元发送的网络存储设备状态请求，并在网络存储设备状态改变时通知发送端状态控制单元。

4.权利要求1所述的包含网络存储设备的异步文件传输系统，其特征在于，所述发送端状态控制单元根据网络存储设备状态控制发送端传输单元文件的传输。

5.一种包含网络存储设备的异步文件传输方法，其特征在于，该方法包括步骤：

S1发送端状态控制单元获取接收端网络存储设备状态；

S2发送端状态控制单元检查传输文件的目的地接收端网络存储设备状态是否正常，如果正常，则控制发送端传输单元传输文件，否则该文件暂不发送；

S3发送端传输单元向接收端传输文件；

S4接收端传输单元接收发送端传输单元发送的传输文件，接收端状态控制单元根据文件接收是否成功，向发送端状态控制单元发送文件接收成功应答或文件接收失败应答；

S5文件接收成功时，接收端转储单元将传输文件移动到网络存储设备传输文件的目的地下，并根据传输文件转储是否成功向接收端发送文件转储成功应答或文件转储失败应答，接收端状态控制单元接收到文件转储成功应答，视为文件传输成功。

6.权利要求5所述的包含网络存储设备的异步文件传输方法，其特征在于，步骤S1中所述接收端网络存储设备状态包括：接收端网络存储设备的网络连接情况和磁盘剩余空间情况。

7.权利要求6所述的包含网络存储设备的异步文件传输方法，其特征在于，步骤S1中所述接收端网络存储设备状态的获取方法为：发送端状态控制单元向接收端发送网络存储设备状态请求，接收端状态控制单元定时获取接收端网络存储设备的状态，向发送端状态控制单元发送网络存储设备状态应答，发送端状态控制单元根据网络存储设备状态应答更新目的地状态表。

8.权利要求7所述的包含网络存储设备的异步文件传输方法，其特征在于，当接收端网络存储设备的网络连接不通或磁盘剩余空间不足时，接收端状态控制单元发送端发送网络存储设备暂停状态通知，当接收端网络存储设备的网络和磁盘空间恢复时，接收端状态控制单元向发送端发送网络存储设备恢复状态通知，发送端接收网络存储设备恢复状态通知后更新目的地状态表。

9.权利要求5所述的包含网络存储设备的异步文件传输方法，其特征在于，步骤S5中发送端在收到文件接收成功应答后，启动超时时间计时，如果在超时时间内收到文件转储成功应答，视为传输文件传输成功。

10.权利要求5所述的包含网络存储设备的异步文件传输方法，其特征在于，所述网络存储设备为NAS网络连接式存储设备。