CN111866178A - 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质 - Google Patents

一种分布式ftp/ftps文件传输方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111866178A
CN111866178A CN202010774562.7A CN202010774562A CN111866178A CN 111866178 A CN111866178 A CN 111866178A CN 202010774562 A CN202010774562 A CN 202010774562A CN 111866178 A CN111866178 A CN 111866178A
Authority
CN
China
Prior art keywords
network
data
file
data nodes
ftps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010774562.7A
Other languages
English (en)
Inventor
郭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chanming Technology Xi'an Co ltd
Original Assignee
Chanming Technology Xi'an Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chanming Technology Xi'an Co ltd filed Critical Chanming Technology Xi'an Co ltd
Priority to CN202010774562.7A priority Critical patent/CN111866178A/zh
Publication of CN111866178A publication Critical patent/CN111866178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种分布式FTP/FTPS文件传输方法、装置及计算机存储介质，涉及互联网技术领域，方法包括检测网络的环境参数；确定数据同步时的环境参数优先级；客户端将文件块上传至数据节点，按照环境参数优先级依次将数据节点中的文件块同步到其他数据节点中；使用FTP/FTPS协议在数据同步后的网络中进行文件传输。本发明可以使用FTP协议进行文件发布，同时也满足了文件发布过程中对文件传输跨网络、数据节点间数据同步的要求，提高了分布式文件传输的安全性和大量文件快速发布的性能。

Description

一种分布式FTP/FTPS文件传输方法、装置及计算机存储介质
技术领域
本发明涉及互联网技术领域，特别是涉及一种分布式FTP/FTPS文件传输方法、装置及计算机存储介质。
背景技术
在分布式存储发展迅猛的今天，文件发布成了现阶段必须要考虑的问题。跟随者分布式存储的发展，文件发布也变得越来越复杂。现阶段有多种文件发布的解决方案，比如：GFS、HDFS、FastDFS、TFS等，这些解决方案都是为分布式文件存储做服务，但是在一些情况下都不能很好的适应发布工作，例如：软件发布场景等。
在文件存储中可以使用分布式文件存储、加密等等技术，但在传输协议中由于Qos以及安全性的限制，使用FTP协议、BT协议、SSH协议等传输协议不能很好的满足分布式文件传输对传输效率、安全性、可靠性、私有网络等等的要求。
从文件发布与传输方面考虑，FTP协议可以进行可靠的文件传输，但是对分布式网络的文件传输，该传输协议对文件安全性的支持依然欠佳。例如：对文件的分块校验与加密、分布式文件权限校验、分布式服务器等方面。而且FTP传输协议也不能很好的满足大量文件快速发布的要求，例如：软件版本发布、视频分发、CDN文件等。其他的传输协议和网络，如BT协议、UPnP协议、DHT网络在很多网络环境下被禁止，而且对这些协议和网络对文件安全性方面支持不全面，而SSH协议不能满足对系统安全的要求，并不能满足网络穿透的需求。
发明内容
本发明实施例提供了一种分布式FTP/FTPS文件传输方法、装置及计算机存储介质，可以解决现有技术中存在的问题。
本发明提供了一种分布式FTP/FTPS文件传输方法，包括以下步骤：
数据节点检测网络的环境参数；
确定数据同步时的环境参数优先级；
客户端将文件块上传至数据节点，控制端按照环境参数优先级将数据节点中的文件块同步到其他数据节点中；
使用FTP/FTPS协议在数据同步后的网络中进行文件传输。
优选地，所述环境参数包括网络拓扑、网络质量、网络距离、网络位置。
优选地，所述网络拓扑由SNMP协议或CDP协议在网络环境中发现获得；
所述网络距离由traceroute命令在网络环境中对各个网络设备定位并计算得到；
所述网络位置由LBS数据库对网络设备的IP地址定位得到；
所述网络质量为使用IPPM标准对网络环境检测得到的相关数据，这些数据包括网络之间的IP包传输往返时延、IP包时延变化、IP包丢失率、IP业务可用性、以及带宽。
优选地，确定的环境参数优先级从高到低为：网络拓扑、网络质量、网络距离、网络位置。
优选地，数据节点间文件的同步方法为：
将客户端上传到数据节点中的文件块根据网络拓扑进行数据同步，在所有网络拓扑都完成数据同步后，进行下一步；
将客户端上传到数据节点中的文件块根据网络质量进行数据同步，如果网络质量不同，则将文件块同步到不同网络质量的数据节点中，如果网络质量相同，进行下一步；
将客户端上传到数据节点中的文件块根据网络距离进行数据同步，即将数据节点中的文件块同步到与该数据节点的网络跳数最少的数据节点中，如果网络距离相同，进行下一步；
将客户端上传到数据节点中的文件块根据网络位置进行数据同步，如果网络位置不同，则将文件块同步到不同网络位置的数据节点中，如果网络位置相同，根据网络距离进行数据同步。
本发明还提供了一种分布式FTP/FTPS文件传输装置，包括客户端和数据节点，所述数据节点被部署在网络中，所述客户端和数据节点用于实施上述文件传输方法的步骤。
本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有文件传输程序，所述文件传输程序被处理器执行时实现上述文件传输方法的步骤。
本发明中的一种分布式FTP/FTPS文件传输方法、装置及计算机存储介质，其有益效果为：
可以使用FTP协议进行文件发布，同时也满足了文件发布过程中对文件传输跨网络、数据节点间数据同步的要求，提高了分布式文件传输的安全性和大量文件快速发布的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施文件传输方法的网络环境示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，为本发明中实施文件传输方法的网络环境，该网络环境包含A、B、C和D四个网络，每个网络中均部署有多个服务节点，所述服务节点包含控制端和数据节点两种类型。为了在不同的网络环境中都可以快速、安全的访问到存储的文件，并规避在不同网络环境中的各种限制(例如：ACL、QoS等)对文件传输造成的影响，本发明使用分布式FTP服务作为文件传输方式，同时使用FTP的分布式数据节点间数据同步来满足快速访问的要求。
本发明中的分布式FTP/FTPS文件传输方法，包括以下步骤：
步骤1，数据节点检测网络的环境参数。
所述环境参数包括网络拓扑、网络距离、网络位置和网络质量，所述网络拓扑由SNMP(Simple Network-management Protocol)协议或CDP(Cisco Discovery Protocol)协议在网络环境中发现获得，所述网络距离由traceroute命令在网络环境中对各个网络设备定位并计算得到，所述网络位置由LBS数据库对网络设备的IP地址定位得到，所述网络质量为使用IPPM(IP Performance Metrics)标准对网络环境检测得到的相关数据，这些数据包括网络之间的IP包传输往返时延RTT、IP包时延变化、IP包丢失率Lost Rate、IP业务可用性、带宽等。
步骤2，确定数据同步时的环境参数优先级。
本发明中确定的环境参数优先级从高到低为：网络拓扑、网络质量、网络距离、网络位置。
步骤3，文件上传和数据节点间的数据同步。
该步骤根据步骤2中确定的环境参数优先级进行：
控制端将客户端上传到数据节点中的文件块根据网络拓扑进行数据同步，在所有网络拓扑都完成数据同步后，进行下一步；
控制端将客户端上传到数据节点中的文件块根据网络质量进行数据同步，如果网络质量不同，则将文件块同步到不同网络质量的数据节点中，如果网络质量相同，进行下一步；
控制端将客户端上传到数据节点中的文件块根据网络距离进行数据同步，如果网络距离不同则将数据节点中的文件块同步到与该数据节点的网络跳数最少的数据节点中，如果网络距离相同，进行下一步；
控制端将客户端上传到数据节点中的文件块根据网络位置进行数据同步，如果网络位置不同，则将文件块同步到不同网络位置的数据节点中，如果网络位置相同，根据网络距离进行数据同步。
步骤4，使用FTP/FTPS协议在数据同步后的网络中进行文件传输。
如图1所示的网络环境，数据从A网络同步至其他网络的流程为：
A网络将数据根据上述的同步方法同步到B网络；
B网络将数据根据上述的同步方法同步到D网络；
D网络将数据根据上述的同步方法同步到C网络；
在B网络中检测到了网络限速，因此B网络将数据节点1中的数据同步到数据节点2中。
基于相同的发明构思，本发明还提供了一种FTP/FTPS分布式文件传输装置，所述装置包括客户端和数据节点，所述数据节点被部署在网络中，所述客户端和数据节点用于实施上述文件传输方法的步骤。
本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有文件传输程序，所述文件传输程序被处理器执行时实现上述文件传输方法的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种分布式FTP/FTPS文件传输方法，其特征在于，包括以下步骤：
数据节点检测网络的环境参数；
确定数据同步时的环境参数优先级；
客户端将文件块上传至数据节点，控制端按照环境参数优先级将数据节点中的文件块同步到其他数据节点中；
使用FTP/FTPS协议在数据同步后的网络中进行文件传输。
2.如权利要求1所述的一种分布式FTP/FTPS文件传输方法，其特征在于，所述环境参数包括网络拓扑、网络质量、网络距离、网络位置。
3.如权利要求2所述的一种分布式FTP/FTPS文件传输方法，其特征在于，所述网络拓扑由SNMP协议或CDP协议在网络环境中发现获得；
所述网络距离由traceroute命令在网络环境中对各个网络设备定位并计算得到；
所述网络位置由LBS数据库对网络设备的IP地址定位得到；
所述网络质量为使用IPPM标准对网络环境检测得到的相关数据，这些数据包括网络之间的IP包传输往返时延、IP包时延变化、IP包丢失率、IP业务可用性、以及带宽。
4.如权利要求1所述的一种分布式FTP/FTPS文件传输方法，其特征在于，确定的环境参数优先级从高到低为：网络拓扑、网络质量、网络距离、网络位置。
5.如权利要求4所述的一种分布式FTP/FTPS文件传输方法，其特征在于，数据节点间文件的同步方法为：
将客户端上传到数据节点中的文件块根据网络拓扑进行数据同步，在所有网络拓扑都完成数据同步后，进行下一步；
将客户端上传到数据节点中的文件块根据网络质量进行数据同步，如果网络质量不同，则将文件块同步到不同网络质量的数据节点中，如果网络质量相同，进行下一步；
将客户端上传到数据节点中的文件块根据网络距离进行数据同步，即将数据节点中的文件块同步到与该数据节点的网络跳数最少的数据节点中，如果网络距离相同，进行下一步；
将客户端上传到数据节点中的文件块根据网络位置进行数据同步，如果网络位置不同，则将文件块同步到不同网络位置的数据节点中，如果网络位置相同，根据网络距离进行数据同步。
6.一种分布式FTP/FTPS文件传输装置，其特征在于，包括客户端和数据节点，所述数据节点被部署在网络中，所述客户端和数据节点用于实施权利要求1-5任一项所述的文件传输方法的步骤。
7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有文件传输程序，所述文件传输程序被处理器执行时实现权利要求1-5任一项所述的文件传输方法的步骤。
CN202010774562.7A 2020-08-04 2020-08-04 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质 Pending CN111866178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010774562.7A CN111866178A (zh) 2020-08-04 2020-08-04 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010774562.7A CN111866178A (zh) 2020-08-04 2020-08-04 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111866178A true CN111866178A (zh) 2020-10-30

Family

ID=72953304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010774562.7A Pending CN111866178A (zh) 2020-08-04 2020-08-04 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111866178A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138744A1 (en) * 2001-03-21 2002-09-26 Schleicher Jorg Gregor Method and system for providing a secure peer-to peer file delivery network
US20020194108A1 (en) * 2001-06-14 2002-12-19 Kitze Christopher Allin Efficient transportation of digital files in a peer-to-peer file delivery network
CN103294704A (zh) * 2012-02-28 2013-09-11 鸿富锦精密工业（深圳）有限公司 文件同步系统及方法
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN104519138A (zh) * 2014-12-31 2015-04-15 北京东土科技股份有限公司 一种基于分布式ftp的数据传输方法及系统
CN106294585A (zh) * 2016-07-28 2017-01-04 四川新环佳科技发展有限公司 一种云计算平台下的存储方法
CN106375481A (zh) * 2016-11-09 2017-02-01 江麓机电集团有限公司 一种分布式erp和mes数据同步连接系统、数据通讯方法
CN106648970A (zh) * 2016-11-04 2017-05-10 北京华为数字技术有限公司 文件备份方法和分布式文件系统
CN108984697A (zh) * 2018-07-05 2018-12-11 江苏恒宝智能系统技术有限公司 一种区块链中节点数据同步方法
CN109639768A (zh) * 2018-11-20 2019-04-16 北京凝思科技有限公司 一种分布式分块文件传输方法及系统
CN110493027A (zh) * 2018-09-27 2019-11-22 北京白山耘科技有限公司 一种分布式数据管理系统及管理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138744A1 (en) * 2001-03-21 2002-09-26 Schleicher Jorg Gregor Method and system for providing a secure peer-to peer file delivery network
US20020194108A1 (en) * 2001-06-14 2002-12-19 Kitze Christopher Allin Efficient transportation of digital files in a peer-to-peer file delivery network
CN103294704A (zh) * 2012-02-28 2013-09-11 鸿富锦精密工业（深圳）有限公司 文件同步系统及方法
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN104519138A (zh) * 2014-12-31 2015-04-15 北京东土科技股份有限公司 一种基于分布式ftp的数据传输方法及系统
CN106294585A (zh) * 2016-07-28 2017-01-04 四川新环佳科技发展有限公司 一种云计算平台下的存储方法
CN106648970A (zh) * 2016-11-04 2017-05-10 北京华为数字技术有限公司 文件备份方法和分布式文件系统
CN106375481A (zh) * 2016-11-09 2017-02-01 江麓机电集团有限公司 一种分布式erp和mes数据同步连接系统、数据通讯方法
CN108984697A (zh) * 2018-07-05 2018-12-11 江苏恒宝智能系统技术有限公司 一种区块链中节点数据同步方法
CN110493027A (zh) * 2018-09-27 2019-11-22 北京白山耘科技有限公司 一种分布式数据管理系统及管理方法
CN109639768A (zh) * 2018-11-20 2019-04-16 北京凝思科技有限公司 一种分布式分块文件传输方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜宏博等: "对等网络文件分发算法优化", 《计算机工程》 *
王占军等: "基于FTP协议的文件传输组件设计与实现", 《沈阳师范大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
EP3761591B1 (en) Tcp link configuration method, apparatus, and computer program product
US11418405B2 (en) Systems and methods for determining a topology of a network comprising a plurality of intermediary devices and paths
KR102369529B1 (ko) 통신 시스템에서 수동적 RTT(Round Trip Time) 지연을 결정하는 방법
US9276831B2 (en) Determining network latency with limited computing resources
US20230300051A1 (en) In-band Edge-to-Edge Round-Trip Time Measurement
JP6631232B2 (ja) ルーティング情報を判定するためのシステムおよび方法
CN116633934A (zh) 负载均衡方法、装置、节点及存储介质
Abdallah et al. Network convergence in SDN versus OSPF networks
CN106789650B (zh) 基于ip的广域网加速方法及装置
CN112910704A (zh) 一种支持动态自适应网络配置的局域网系统、方法和装置
CN111866178A (zh) 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质
CN114448841B (zh) 一种网卡测试方法、装置、设备及介质
JP5894981B2 (ja) 複数基準の選択を有するトポロジサーバを用いて通信アーキテクチャにわたって分散されたノードのネットワークへのアクセス
WO2016184079A1 (zh) 一种处理系统日志报文的方法和装置
Nast et al. Design and Performance Evaluation of a Standalone MQTT for Sensor Networks (MQTT-SN) Broker
WO2019236376A1 (en) Fast data connection system and method
CN114466008B (zh) 一种云边通信系统、方法、装置、电子设备及存储介质
Jaiswal et al. Performance Evaluation of Wireless Networks
US11936553B2 (en) Autonomous data routing in a peer-to-peer computer network
Nikitinskiy et al. Analyzing the possibility of applying asymmetric transport protocols in terms of software defined networks
US11689456B2 (en) Autonomous data routing in a peer-to-peer computer network
CN107896233B (zh) 一种sctp流数据管理方法、系统及设备
CN104539451B (zh) 一种mep id获取方法和装置
Agrawal et al. MTorrent: A multicast enabled BitTorrent protocol
CN106506434B (zh) 业务数据传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication