CN117240849A - 基于分布式文件存储系统的文件传输方法及装置 - Google Patents

Abstract

本发明提供了一种基于分布式文件存储系统的文件传输方法及装置，先获取目标用户待传输的目标文件，再为分布式文件存储系统设置目标文件的文件传输任务，然后确定目标用户的连接参数并基于连接参数建立目标用户与第一服务器之间的SFTP连接，最终执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输，并在执行文件传输任务的过程中监控目标文件的传输进度。采用本发明可以提高分布式文件存储系统的文件传输效率，同时保证待传输文件在文件传输过程中的安全性和完整性。

Description

基于分布式文件存储系统的文件传输方法及装置

技术领域

本发明涉及文件传输技术领域，尤其是涉及一种基于分布式文件存储系统的文件传输方法及系统。

背景技术

分布式文件存储系统是一种为了提高数据冗余性、可用性和性能而设计的系统，通常包括多个地理位置的存储节点。然而，对于待传输文件具有海量数据的情况，在进行分布式文件存储系统的文件传输时，可能需要较长的时间，且在文件传输过程中难以保证待传输文件的安全性和完整性。

发明内容

有鉴于此，本发明的目的在于提供一种基于分布式文件存储系统的文件传输方法及系统，以缓解相关技术中存在的上述问题。

第一方面，本发明实施例提供了一种基于分布式文件存储系统的文件传输方法，所述分布式文件存储系统的每个存储节点预先配置有相应的支持SFTP文件传输的服务器；所述方法包括：获取目标用户待传输的目标文件；为所述分布式文件存储系统设置所述目标文件的文件传输任务；其中，所述文件传输任务包括以下中至少之一：备份任务、同步任务、数据迁移任务；确定所述目标用户的连接参数，并基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接；其中，所述第一服务器为所述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器；执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，并在执行所述文件传输任务的过程中监控所述目标文件的传输进度。

第二方面，本发明实施例还提供一种基于分布式文件存储系统的文件传输装置，所述分布式文件存储系统的每个存储节点预先配置有相应的支持SFTP文件传输的服务器；所述装置包括：获取模块，用于获取目标用户待传输的目标文件；设置模块，用于为所述分布式文件存储系统设置所述目标文件的文件传输任务；其中，所述文件传输任务包括以下中至少之一：备份任务、同步任务、数据迁移任务；连接模块，用于确定所述目标用户的连接参数，并基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接；其中，所述第一服务器为所述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器；传输模块，用于执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，并在执行所述文件传输任务的过程中监控所述目标文件的传输进度。

本发明实施例提供的一种基于分布式文件存储系统的文件传输方法及装置，先获取目标用户待传输的目标文件，再为分布式文件存储系统设置目标文件的文件传输任务，然后确定目标用户的连接参数并基于连接参数建立目标用户与第一服务器之间的SFTP连接，最终执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输，并在执行文件传输任务的过程中监控目标文件的传输进度。采用上述技术，可以提高分布式文件存储系统的文件传输效率，同时保证待传输文件在文件传输过程中的安全性和完整性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于分布式文件存储系统的文件传输方法的流程示意图；

图2为本发明实施例中一种基于分布式文件存储系统的文件传输方法的流程示例图；

图3为本发明实施例中一种基于分布式文件存储系统的文件传输装置的结构示意图；

图4为本发明实施例中另一种基于分布式文件存储系统的文件传输装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，分布式文件存储系统是一种为了提高数据冗余性、可用性和性能而设计的系统，通常包括多个地理位置的存储节点。然而，对于待传输文件具有海量数据的情况，在进行分布式文件存储系统的文件传输时，可能需要较长的时间，且在文件传输过程中难以保证待传输文件的安全性和完整性。

基于此，本发明实施提供的一种基于分布式文件存储系统的文件传输方法及系统，可以缓解相关技术中存在的上述问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于分布式文件存储系统的文件传输方法进行详细介绍。分布式文件存储系统的每个存储节点预先配置有相应的支持SFTP(Secure File Transfer Protocol，安全文件传输协议)文件传输的服务器；参见图1所示，该方法可以包括以下步骤：

步骤S102，获取目标用户待传输的目标文件。

步骤S104，为分布式文件存储系统设置目标文件的文件传输任务。

其中，上述文件传输任务可以包括备份任务、同步任务、数据迁移任务等，对此不进行限定。

上述文件传输任务可以根据需要进行调度，可以是定时任务或触发任务，取决于具体的文件管理需求。

步骤S106，确定目标用户的连接参数，并基于连接参数建立目标用户与第一服务器之间的SFTP连接。

其中，上述第一服务器可以为上述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器。

上述第一存储节点可以为分布式文件存储系统中任何一个或多个用于存储目标文件的存储节点，在目标用户与第一存储节点之间传输目标文件之前，需要通过第一服务器建立目标用户与第一存储节点之间的SFTP连接，从而保证目标用户与第一存储节点之间传输目标文件的安全性。

步骤S108，执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输，并在执行文件传输任务的过程中监控目标文件的传输进度。

本发明实施例提供的一种基于分布式文件存储系统的文件传输方法，先获取目标用户待传输的目标文件，再为分布式文件存储系统设置目标文件的文件传输任务，然后确定目标用户的连接参数并基于连接参数建立目标用户与第一服务器之间的SFTP连接，最终执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输，并在执行文件传输任务的过程中监控目标文件的传输进度。采用上述技术，可以提高分布式文件存储系统的文件传输效率，同时保证待传输文件在文件传输过程中的安全性和完整性。

作为一种可能的实施方式，为每个存储节点配置相应的支持SFTP文件传输的服务器的步骤可以包括：

步骤1，通过支持SFTP的预设软件为每个存储节点创建相应的支持SFTP文件传输的服务器。

上述预设软件可以根据需求自行选择，例如，采用OpenSSH或其他支持SFTP的软件等，对此不进行限定。

步骤2，为每个存储节点所对应支持SFTP文件传输的服务器生成相应的SSH密钥对；其中，SSH密钥对包括公钥和私钥，私钥用于提供给目标用户。

采用上述为每个存储节点生成相应SSH密钥对的方式，可以确保分布式文件存储系统外部的用户与相应存储节点之间安全的身份验证。

步骤3，为每个存储节点所对应支持SFTP文件传输的服务器配置相应的文件访问限制策略和密码策略以及相应的文件传输目录。

上述文件访问限制策略指明了分布式文件存储系统外部的用户如果想要访问相应存储节点的文件则需要满足相应的限制条件，限制条件可以包括用户的ID、名称等，对此不进行限定。

上述密码策略指明了分布式文件存储系统外部的用户如果想要访问相应存储节点的文件则需要输入相应的密码，密码定义方式可以包括密码长度、密码复杂度、密码有效期等方面的规则，对此不进行限定。

上述文件传输目录指明了分布式文件存储系统中相应存储节点传输目标文件所用的文件目录。

作为一种可能的实施方式，上述连接参数可以包括第一服务器的主机名、端口号和私钥文件路径以及目标用户的用户名；基于此，上述步骤S106中基于连接参数建立目标用户与第一服务器之间的SFTP连接可以包括：基于第一服务器的私钥文件路径，将第一服务器对应的私钥提供给目标用户；在接收到目标用户发送的第一服务器对应的私钥时，基于第一服务器的主机名和端口号，建立目标用户与第一服务器之间的SFTP连接。

在目标用户需要与第一存储节点之间进行目标文件传输时，可先从指定的私钥文件路径中找到相应的私钥并将其发送给第一服务器，若该私钥与第一服务器上的公钥对应匹配(即该私钥与第一服务器上的公钥可组成相应的SSH密钥对)，说明可建立目标用户需要与第一存储节点之间的SFTP连接，则可根据第一服务器的主机名和端口号建立目标用户与第一服务器之间的SFTP连接，从而在目标用户与第一存储节点之间建立用于传输目标文件且比较安全的文件传输链路。

作为一种可能的实施方式，上述文件传输任务可以包括备份任务；基于此，上述步骤S108(即执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输)可以包括以下操作方式中至少之一：(A1)响应于针对目标文件的备份触发操作，执行目标文件的备份任务以将目标文件备份至第一服务器；(A2)按照预设备份周期执行目标文件的备份任务以将目标文件周期性备份至第一服务器。

上述备份触发操作可以为目标用户在相应客户端上针对目标文件进行的操作(如触控操作、键盘操作、鼠标操作、语音输入操作等)，具体操作方式可根据需求自定义，对此不进行限定。采用上述将目标文件备份至第一服务器的方式，可通过指定不同地理位置的存储节点用于备份目标文件，实现不同地理位置的存储节点之间备份数据，以支持灾难恢复(即在某个地理位置的存储节点由于发生故障或灾害造成数据丢失时通过其他地理位置的存储节点恢复数据)，从而确保备份数据的定期传输，以防止数据丢失。

作为一种可能的实施方式，上述文件传输任务可以包括同步任务；基于此，上述步骤S108(即执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输)可以包括以下操作方式中至少之一：(B1)响应于目标用户针对目标文件的同步触发操作，执行目标文件的同步任务以通过SFTP文件传输方式进行目标文件在第一服务器与第二服务器之间的同步传输；其中，第二服务器为分布式文件存储系统的第二存储节点所对应支持SFTP文件传输的服务器第一存储节点与第二存储节点不同；(B2)按照预设同步周期执行目标文件的同步任务以通过SFTP文件传输方式进行目标文件在第一服务器与第二服务器之间的周期性同步传输。

与上述备份触发操作类似，上述同步触发操作可以为目标用户在相应客户端上针对目标文件进行的操作，具体操作方式可根据需求自定义，对此不进行限定。采用上述通过SFTP文件传输方式进行目标文件在第一服务器与第二服务器之间同步传输的方式，可通过指定多个不同存储节点用于同步目标文件，实现不同存储节点之间同步数据的内容及时间戳，以支持跨存储节点文件同步(即由不同存储节点分别充当源节点和目标节点并通过SFTP文件传输方式在源节点与目标节点之间进行数据同步传输)，从而保持不同存储节点之间数据的一致性。

作为一种可能的实施方式，上述文件传输任务可以包括数据迁移任务；基于此，上述步骤S108(即执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输)可以包括以下操作方式中至少之一：(C1)响应于目标用户针对目标文件的数据迁移触发操作，执行目标文件的数据迁移任务以通过SFTP文件传输方式进行目标文件在第一服务器与目标存储区之间的数据迁移；其中，目标存储区为分布式文件存储系统外部与目标用户对应的存储区；(C2)按照预设同步周期执行目标文件的数据迁移任务以通过SFTP文件传输方式进行目标文件在第一服务器与目标存储区之间的周期性数据迁移。

与上述备份触发操作和上述同步触发操作类似，上述数据迁移触发操作可以为目标用户在相应客户端上针对目标文件进行的操作，具体操作方式可根据需求自定义，对此不进行限定。采用上述通过SFTP文件传输方式进行目标文件在第一服务器与目标存储区之间数据迁移的方式，在需要外部调用目标文件的相关数据时可通过外部存储区(如物理存储介质等)将相关数据编码(如压缩、加密、格式转换等)后拷贝走或直接拷贝走。通过指定外部存储区和存储节点用于目标文件的数据迁移，实现存储节点与外部存储区之间数据的迁移(包括数据结构、数据内容等方面的处理过程)，以支持目标文件相关数据的迁入(即将相关数据由外部存储区迁移至存储节点)和迁出(即将相关数据由存储节点迁移至外部存储区)，从而保持存储节点与外部存储区之间数据的迁移灵活性。

作为一种可能的实施方式，上述基于分布式文件存储系统的文件传输方法还可以包括：记录目标文件的传输日志和/或目标用户的操作日志。

可通过启用详细的日志记录功能以记录目标用户与第一存储节点间的文件传输活动以及目标用户在相应客户端上所进行的操作活动，并记录错误、警告等信息，以便相关人员可根据记录的日志进行后续审计、故障排除、制定数据管理策略等。

作为一种可能的实施方式，为每个存储节点配置相应的支持SFTP文件传输的服务器的步骤还可以包括：为每个存储节点所对应支持SFTP文件传输的服务器配置相应的用户身份验证策略。

上述用户身份验证策略用于指明了分布式文件存储系统外部的用户如果想要访问相应存储节点的文件则需要满足进行身份验证，验证方式可以包括涉及生物识别(人脸识别、指纹识别等)的验证方式或其他不涉及生物识别的验证方式等，对此不进行限定。

通过上述为每个存储节点配置相应用户身份验证策略考虑的方式，可以进一步加强分布式文件存储系统与外部用户之间数据传输的安全性。

作为一种可能的实施方式，上述基于分布式文件存储系统的文件传输方法还可以包括：为目标文件配置文件级的加密规则。基于此，上述步骤S108(即执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输)可以包括：执行文件传输任务以通过SFTP文件传输方式按照加密规则进行目标文件在目标用户与第一服务器之间的加密传输。

通过上述为目标文件配置文件级加密规则的方式，可以进一步加强分布式文件存储系统与外部用户之间以及分布式文件存储系统内部存储节点之间数据传输的安全性。

为了便于理解，在此以具体应用为例对上述基于分布式文件存储系统的文件传输方法的操作方式进行示例性描述如下。参见图2所示，上述基于分布式文件存储系统的文件传输方法可以包括以下几个方面：

(一)配置分布式存储系统。包括以下步骤A和B：

A、设置分布式存储节点。

分布式文件存储系统是一种将数据存储在多个存储节点上以提高数据可用性、数据冗余性和数据存储性能的文件存储系统。这种文件存储系统通常涉及多个物理节点或虚拟节点作为分布式存储节点，分布式存储节点可以位于不同的地理位置。因而，在使用分布式文件存储系统之前，需要设置好分布式文件存储系统的多个位于不同地理位置的物理节点或虚拟节点作为分布式存储节点。

B、配置SFTP服务器。

为了确保分布式文件存储系统的每个存储节点都支持SFTP文件传输方式，需要在每个存储节点上配置SFTP服务器，确保每个存储节点所对应配置的SFTP服务器遵循SFTP协议的标准。配置SFTP服务器可以包括以下步骤：安装和配置SFTP服务器软件(例如OpenSSH或其他支持SFTP的软件)；为每个存储节点生成由公钥和私钥组成的SSH密钥对，以确保外部用户与各存储节点间安全的身份验证；配置SFTP服务器相应策略(如配置密码策略和文件访问限制策略)以限制用户访问，设置SFTP服务器的文件传输目录，确定SFTP服务器的安全选项。

在每个存储节点上的SFTP服务器均配置完成后，SFTP即可作为文件传输协议实现各存储节点之间或存储节点与外部存储区之间的数据传输、数据备份、数据同步、数据迁移数据等。

(二)文件传输任务管理。包括以下步骤C和D：

C、设置文件传输任务。

其中，文件传输任务包括文件备份任务、文件同步任务、数据迁移任务等，这些文件传输任务可以根据需要进行调度，可以是定时任务或触发任务，取决于具体的文件管理需求。

D、确定任务计划。

在已经确定需要执行哪些文件传输任务后，即可通过制定任务计划的方式定义文件传输任务的顺序并确定按照该顺序进行文件传输任务执行的任务队列，以便后续可按照制定的任务计划执行文件传输任务。

(三)自动化文件传输。包括以下步骤E-J：

E、编写自动化脚本/工具。

可编写自动化脚本或使用文件传输工具来执行文件传输任务，这些脚本或工具将自动使用SFTP协议与存储节点通信以安全地传输文件，还减少了人工干预从而提高了文件传输效率。

F、指定SFTP连接参数。

在脚本或工具中指定SFTP连接参数，包括主机名、端口号、用户名和私钥文件路径。

G、建立SFTP连接。

用户可通过使用命令(例如直接输入SFTP命令行等)或SFTP客户端(例如在客户端上进行SFTP的身份验证、输入密码操作等)来建立与目标存储节点之间的安全连接(即SFTP连接)。

H、执行文件传输操作。

用户可通过建立的SFTP连接执行文件上传、下载、删除等操作，确保数据的安全传输。

I、监控传输进度。

J、记录传输日志。

可在数据传输过程中监控传输进度并记录传输日志，以便后续审计和故障排除，还可在数据传输过程中根据传输进度和传输日志进行自动干预或人工干预以确保数据完整性。

(四)跨节点文件同步。包括以下步骤K：

K、执行文件同步任务。

可以通过定期执行文件同步任务来确保文件在不同存储节点之间的同步，具体实现方式主要为：其中一个存储节点充当源节点，另一个存储节点充当目标节点，使用SFTP来安全地将文件从源节点同步传输至目标节点，以保持数据的一致性。

(五)监控和日志。包括以下步骤L和M：

L、设置监控系统。

M、启用详细日志记录。

可设置监控系统来跟踪文件传输活动和存储节点的性能。此外，还可启用详细的日志记录以记录传输活动、错误和警告，以便可将记录的日志用于后续审计和故障排除。

(六)灾害恢复。包括以下步骤N：

N、备份数据到不同地理位置。

可定期在不同地理位置的存储节点之间备份数据，以支持灾难恢复计划，具体实现方式主要为：其中一个地理位置的存储节点用于存储原始文件，另一个或其他多个地理位置的存储节点用于存储原始文件的备份数据。通过备份数据的定期传输，可以防止由于发生灾害或故障而造成所需数据丢失。

(七)高级安全性。包括以下步骤O：

O、实施多因素身份验证和文件加密。

考虑到更高级安全性措施的实施，可对外部用户进行多因素(如人脸识别、指纹识别、输入密码、输入验证码等)身份验证，并对记录的日志(包括用户操作日志、文件传输日志等)进行审计，还可对待传输的文件本身进行文件级别的加密，从而进一步加强文件传输的安全性。

基于上述方面(一)至方面(七)的步骤，上述基于分布式文件存储系统的文件传输方法可以按照以下几个流程进行：A→B，N→B，O→B；C→D，C→L；D→E，E→F，F→G，G→H；H→I，H→K；I→J；J→L；K→L，L→M。

上述图2示出了上述基于分布式文件存储系统的文件传输方法的主要步骤，涵盖了设置分布式存储节点、配置SFTP服务器、文件传输任务管理、自动化文件传输、跨节点文件同步、监控和日志、灾难恢复以及高级安全性等。实际实施中，每个步骤可能需要更详细的子步骤和决策点，以满足特定的系统需求和安全要求。

此外，还可将分布式文件存储系统与云存储服务(如Amazon S3、Google CloudStorage和Azure Blob Storage等)集成，从而实现通过SFTP将数据传输到云存储服务或从云存储服务中进行数据备份。

采用上述基于SFTP分布式文件存储系统的文件传输方法，可确保文件在不同存储节点之间进行安全、高效地传输和管理，适用于各种数据管理场景，包括企业数据管理、云存储集成、跨地理位置的数据传输和数据备份；同时，由于分布式文件存储系统可以根据具体需求进行扩展和定制，因而可以满足不同规模和复杂性的文件管理需求。

上述基于SFTP分布式文件存储系统的文件传输方法的优点主要包括：

1)自动化文件传输：通过脚本或工具进行自动化文件传输，管理员可以轻松设置和管理文件传输任务，这减少了人工操作，提高了数据管理的效率，降低了发生错误的风险。

2)分布式存储集成：与分布式文件存储系统集成，允许文件传输在不同的存储节点之间进行，这使得文件在多个地理位置的存储节点之间的传输和备份变得无缝和高效。

3)跨地理位置的数据传输和灾难恢复：支持数据在不同地理位置之间的安全传输，有助于提高全球可用性和灾难恢复能力，在发生故障或灾难时，数据可以迅速恢复，降低了数据丢失的风险。

4)监控和日志记录：提供了详细的监控和日志记录功能，管理员可以实时跟踪文件传输活动和系统性能，这有助于及时检测问题、进行故障排除和制定数据管理策略。

5)灵活性和可扩展性：具有高度的灵活性，可以适应各种规模和需求的分布式文件存储系统，可以轻松扩展以满足不断增长的数据存储需求。

6)降低运营成本：自动化和高效的文件传输过程降低了运营成本，减少了对人工干预的需求，提高了资源利用率。

总的来说，上述基于分布式文件存储系统的文件传输方法利用SFTP协议的强大安全性和分布式文件存储系统的灵活性，提供了一种创新的文件传输方法，可以广泛应用于各种行业和领域，有助于确保数据的安全、可用性和一致性，提高了数据管理的效率，降低了潜在的风险，为组织或个人提供了更可靠的数据管理和传输解决方案。

在上述基于分布式文件存储系统的文件传输方法的基础上，本发明实施例还提供一种基于分布式文件存储系统的文件传输装置，参见图3所示，该装置可以包括以下模块：

获取模块302，用于获取目标用户待传输的目标文件。

设置模块304，用于为所述分布式文件存储系统设置所述目标文件的文件传输任务；其中，所述文件传输任务包括以下中至少之一：备份任务、同步任务、数据迁移任务。

连接模块306，用于确定所述目标用户的连接参数，并基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接；其中，所述第一服务器为所述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器。

传输模块308，用于执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，并在执行所述文件传输任务的过程中监控所述目标文件的传输进度。

本发明实施例提供的一种基于分布式文件存储系统的文件传输装置，先获取目标用户待传输的目标文件，再为分布式文件存储系统设置目标文件的文件传输任务，然后确定目标用户的连接参数并基于连接参数建立目标用户与第一服务器之间的SFTP连接，最终执行文件传输任务以通过SFTP文件传输方式进行目标文件在目标用户与第一服务器之间的传输，并在执行文件传输任务的过程中监控目标文件的传输进度。采用上述技术，可以提高分布式文件存储系统的文件传输效率，同时保证待传输文件在文件传输过程中的安全性和完整性。

基于上述图3所示的基于分布式文件存储系统的文件传输装置，本发明实施例还提供另一种基于分布式文件存储系统的文件传输装置，参见图4所示，该装置还可以包括：

配置模块310，用于通过支持SFTP的预设软件为每个存储节点创建相应的支持SFTP文件传输的服务器；为每个存储节点所对应支持SFTP文件传输的服务器生成相应的SSH密钥对；其中，所述SSH密钥对包括公钥和私钥，所述私钥用于提供给所述目标用户；为每个存储节点所对应支持SFTP文件传输的服务器配置相应的文件访问限制策略和密码策略以及相应的文件传输目录。

上述连接参数可以包括第一服务器的主机名、端口号和私钥文件路径以及目标用户的用户名。基于此，上述连接模块306还可以用于：基于所述第一服务器的私钥文件路径，将所述第一服务器对应的私钥提供给所述目标用户；在接收到所述目标用户发送的所述第一服务器对应的私钥时，基于所述第一服务器的主机名和端口号，建立所述目标用户与第一服务器之间的SFTP连接。

参见图4所示，该装置还可以包括：

记录模块312，用于记录所述目标文件的传输日志和/或目标用户的操作日志。

上述配置模块310还可以用于：为每个存储节点所对应支持SFTP文件传输的服务器配置相应的用户身份验证策略。

上述配置模块310还可以用于：为所述目标文件配置文件级的加密规则。基于此，上述传输模块308还可以用于：执行所述文件传输任务以通过SFTP文件传输方式按照所述加密规则进行所述目标文件在所述目标用户与所述第一服务器之间的加密传输。

本发明实施例所提供的基于分布式文件存储系统的文件传输装置，其实现原理及产生的技术效果和前述基于分布式文件存储系统的文件传输方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于分布式文件存储系统的文件传输方法，其特征在于，所述分布式文件存储系统的每个存储节点预先配置有相应的支持SFTP文件传输的服务器；所述方法包括：

获取目标用户待传输的目标文件；

为所述分布式文件存储系统设置所述目标文件的文件传输任务；其中，所述文件传输任务包括以下中至少之一：备份任务、同步任务、数据迁移任务；

确定所述目标用户的连接参数，并基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接；其中，所述第一服务器为所述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器；

执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，并在执行所述文件传输任务的过程中监控所述目标文件的传输进度。

2.根据权利要求1所述的方法，其特征在于，为每个存储节点配置相应的支持SFTP文件传输的服务器，包括：

通过支持SFTP的预设软件为每个存储节点创建相应的支持SFTP文件传输的服务器；

为每个存储节点所对应支持SFTP文件传输的服务器生成相应的SSH密钥对；其中，所述SSH密钥对包括公钥和私钥，所述私钥用于提供给所述目标用户；

为每个存储节点所对应支持SFTP文件传输的服务器配置相应的文件访问限制策略和密码策略以及相应的文件传输目录。

3.根据权利要求2所述的方法，其特征在于，所述连接参数包括第一服务器的主机名、端口号和私钥文件路径以及目标用户的用户名；基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接，包括：

基于所述第一服务器的私钥文件路径，将所述第一服务器对应的私钥提供给所述目标用户；

在接收到所述目标用户发送的所述第一服务器对应的私钥时，基于所述第一服务器的主机名和端口号，建立所述目标用户与第一服务器之间的SFTP连接。

4.根据权利要求1所述的方法，其特征在于，所述文件传输任务包括备份任务；执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，包括以下中至少之一：

响应于针对所述目标文件的备份触发操作，执行所述目标文件的备份任务以将所述目标文件备份至所述第一服务器；

按照预设备份周期执行所述目标文件的备份任务以将所述目标文件周期性备份至所述第一服务器。

5.根据权利要求1所述的方法，其特征在于，所述文件传输任务包括同步任务；执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，包括以下中至少之一：

响应于所述目标用户针对所述目标文件的同步触发操作，执行所述目标文件的同步任务以通过SFTP文件传输方式进行所述目标文件在所述第一服务器与第二服务器之间的同步传输；其中，所述第二服务器为所述分布式文件存储系统的第二存储节点所对应支持SFTP文件传输的服务器，所述第一存储节点与所述第二存储节点不同；

按照预设同步周期执行所述目标文件的同步任务以通过SFTP文件传输方式进行所述目标文件在所述第一服务器与所述第二服务器之间的周期性同步传输。

6.根据权利要求1所述的方法，其特征在于，所述文件传输任务包括数据迁移任务；执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，包括以下中至少之一：

响应于所述目标用户针对所述目标文件的数据迁移触发操作，执行所述目标文件的数据迁移任务以通过SFTP文件传输方式进行所述目标文件在所述第一服务器与目标存储区之间的数据迁移；其中，所述目标存储区为所述分布式文件存储系统外部与所述目标用户对应的存储区；

按照预设同步周期执行所述目标文件的数据迁移任务以通过SFTP文件传输方式进行所述目标文件在所述第一服务器与所述目标存储区之间的周期性数据迁移。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

记录所述目标文件的传输日志和/或目标用户的操作日志。

8.根据权利要求2所述的方法，其特征在于，为每个存储节点配置相应的支持SFTP文件传输的服务器，还包括：

为每个存储节点所对应支持SFTP文件传输的服务器配置相应的用户身份验证策略。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为所述目标文件配置文件级的加密规则；

执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，包括：

执行所述文件传输任务以通过SFTP文件传输方式按照所述加密规则进行所述目标文件在所述目标用户与所述第一服务器之间的加密传输。

10.一种基于分布式文件存储系统的文件传输装置，其特征在于，所述分布式文件存储系统的每个存储节点预先配置有相应的支持SFTP文件传输的服务器；所述装置包括：

获取模块，用于获取目标用户待传输的目标文件；

设置模块，用于为所述分布式文件存储系统设置所述目标文件的文件传输任务；其中，所述文件传输任务包括以下中至少之一：备份任务、同步任务、数据迁移任务；

连接模块，用于确定所述目标用户的连接参数，并基于所述连接参数建立所述目标用户与第一服务器之间的SFTP连接；其中，所述第一服务器为所述分布式文件存储系统的第一存储节点所对应支持SFTP文件传输的服务器；

传输模块，用于执行所述文件传输任务以通过SFTP文件传输方式进行所述目标文件在所述目标用户与所述第一服务器之间的传输，并在执行所述文件传输任务的过程中监控所述目标文件的传输进度。