CN104506592B - 用于ftp协议的上传数据和下载数据的方法 - Google Patents
用于ftp协议的上传数据和下载数据的方法 Download PDFInfo
- Publication number
- CN104506592B CN104506592B CN201410764780.7A CN201410764780A CN104506592B CN 104506592 B CN104506592 B CN 104506592B CN 201410764780 A CN201410764780 A CN 201410764780A CN 104506592 B CN104506592 B CN 104506592B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- key node
- key
- ordinary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012546 transfer Methods 0.000 title claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000012790 confirmation Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 7
- 241001269238 Data Species 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 3
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种用于FTP协议的上传数据的方法及其下载数据的方法，该方法包括：S101，普通节点向关键节点发送上传数据请求；S102，所述关键节点接收上传数据请求，并向所述普通节点发送确认发送信息；S103，所述普通节点接收确认发送信息后，向所述关键节点上传数据；以及S104，所述关键节点接收所述数据，并将所述数据上传至服务器。该用于FTP协议的上传数据的方法及其下载数据的方法通过FTP进行大量小文件传输，保证了文件的快速传输。
Description
技术领域
本发明涉及数据传输领域，具体地，涉及一种用于FTP协议的上传数据的方法及其下载数据的方法。
背景技术
小文件传输协议(TFTP)虽然可以高效的传输大量小文件，但是其底层建立在UDP基础之上，并不提供可靠传输；GridFTP虽然也保证了高效传输小文件，但是它要求用户安装Globus软件，对于大量用户来说，这是不符合实际的；因此选择选择FTP协议，对于那些需要进行可靠的高效的小文件的进行数据传输，成为了选择之一。
但是，采用FTP协议有这样的特点，当传输大文件之时，不易断线比较稳定；但是在传输众多小文件之时，速度变得很慢。因为，FTP底层采用 TCP/IP协议，FTP传输文件的时候需要先打开端口，建立连接，传输命令，传输文件，关闭连接。当进行大文件传输之时，这些操作花费的时间可以忽略不计，但是当有大量小文件需要进行传输之时，也需要做这些事情，因此导致整个过程占用系统和网络开销比例比较大，它成为了影响网络性能的重要因素。
发明内容
本发明的目的是克服FTP传输大量小文件速度变得很慢的问题，提供一种用于FTP协议的上传数据的方法及其下载数据的方法，该用于FTP协议的上传数据的方法及其下载数据的方法通过FTP进行大量小文件传输，保证了文件的快速传输。
为了实现上述目的，本发明提供了一种用于FTP协议的上传数据的方法，该方法包括：S101，普通节点向关键节点发送上传数据请求；
S102，所述关键节点接收上传数据请求，并向所述普通节点发送确认发送信息；
S103，所述普通节点接收确认发送信息后，向所述关键节点上传数据；以及
S104，所述关键节点接收所述数据，并将所述数据上传至服务器。
优选地，在步骤S104中，将所述关键节点与所述普通节点组成C/S架构，且所述关键节点与所述服务器组成C/S架构。
本发明还提供一种用于FTP协议的下载数据的方法，该方法包括：根据上述的上传数据的方法，
S201，所述普通节点向所述关键节点发送第一下载数据请求；
S202，判断所述关键节点中是否有所述数据；
S203，当所述关键节点中有所述数据时，所述普通节点进行下载，并通过计算得到下载时间；或
当所述关键节点中没有所述数据时，所述关键节点向所述服务器发送第二下载数据请求，所述服务器接收所述第二下载数据请求，并将所述数据发送给所述关键节点，所述普通节点对所述关键节点中的所述数据进行下载，并通过计算得到下载时间。
优选地，该方法还包括，计算下载时间的公式为：
其中，T为下载时间，g为带宽，t′为网络延迟的时间，w为所述关键节点的数量，s为数据的容量。
优选地，该方法还包括：增加所述带宽，所述带宽的计算公式为：
当时，则
当或
时，则其中，N为与一个关键节点连接的普通节点的数量，W为关键节点的容量且为
常量，B为链路的最小带宽，R为所述关键节点与普通节点传输的时延，P*为链路的丢包率。
通过上述实施方式，本发明的用于FTP协议的上传数据的方法减少了数据传输时间，提高了网络性能，有利于改善在服务器进行大规模小文件传输时网络出现的种种现象，多层次数据传输节点通过利用关键节点也具有服务器的资源以及可以作为服务器的硬件设施，可以为其他关键节点提供服务。通过利用关键节点的资源，建立起新的网络层次架构，实现并行的数据传输，解决海量用户在进行大规模小文件式数据传输时所遇到的问题。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是说明本发明的用于FTP协议的上传数据的方法的具体实施方式的流程图；以及
图2是说明本发明的用于FTP协议的下载数据的方法的具体实施方式的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明提供一种用于FTP协议的上传数据的方法，该方法包括：S101，普通节点向关键节点发送上传数据请求；S102，所述关键节点接收上传数据请求，并向所述普通节点发送确认发送信息；S103，所述普通节点接收确认发送信息后，向所述关键节点上传数据；以及S104，所述关键节点接收所述数据，并将所述数据上传至服务器。
通过上述实施方式，本发明的用于FTP协议的上传数据的方法减少了数据传输时间，提高了网络性能，有利于改善在服务器进行大规模小文件上传时网络出现的种种现象，多层次数据上传节点通过利用关键节点也具有服务器的资源以及可以作为服务器的硬件设施，可以为其他关键节点提供服务。通过利用关键节点的资源，建立起新的网络层次架构，实现并行的数据传输，解决海量用户在进行大规模小文件式数据上传时所遇到的问题。
将本发明所述的用于FTP协议的上传数据的方法应用于在线考试系统项目中。本系统建立了C/S模式下三层架构的网络考试系统，采用数据库 SQL Sever2005进行数据存储，实现了试卷管理、自动组卷、在线考试、自动阅卷、成绩查询、试卷分析等一系列功能，该系统是一个较为完善的、稳定的、灵活的在线考试系统，具有良好的使用价值。
以下结合附图1和附图2对本发明进行进一步的说明，本发明将用于 FTP协议的上传数据的方法和下载数据的方法运用在考试系统中去，从而验证了模型的可行性以及有效性，随着考试的大型化，本系统最终将有利于越来越多的用户要求关于快速下载小文件的要求。
在该种实施方式中，在步骤S104中，将所述关键节点与所述普通节点组成C/S架构，且所述关键节点与所述服务器组成C/S架构。
本发明还提供一种用于FTP协议的下载数据的方法，该方法包括：根据上述的上传数据的方法，
S201，所述普通节点向所述关键节点发送第一下载数据请求；
S202，判断所述关键节点中是否有所述数据；
S203，当所述关键节点中有所述数据时，所述普通节点进行下载；或
当所述关键节点中没有所述数据时，所述关键节点向所述服务器发送第二下载数据请求，所述服务器接收所述第二下载数据请求，并将所述数据发送给所述关键节点，所述普通节点对所述关键节点中的所述数据进行下载。
同理可得，当上传数据之后需要对数据进行下载，那么通过这样的一种下载方法，让数据实现传输，数据通过上传和下载实现数据的在线传输，也通过这样的方法，使得本发明可以高效的传输数据。
假设网络是连通的，根据以上的基本思想，本发明的启发模型是：计算下载时间通过以下公式，
其中，T为下载时间，同时在本发明中，也可以为上传时间，g为带宽， t′为网络延迟的时间，w为所述关键节点的数量，s为数据的容量。
在该种实施方式中，该方法还包括：增加所述带宽，所述带宽的计算公式为：
当时，则
当或
时，则
其中，N为与一个关键节点连接的普通节点的数量，W为关键节点的容量且为常量，B为链路的最小带宽，R为所述关键节点与普通节点传输的时延，P*为链路的丢包率，从上式中可以看出，随着N不断的增大，g也随着增大；但是当N增大到一个确定的值后，g为之减少。
由此可知预设一个存在的连接数N为K，使得g为最大，可以得出在连接数为K之时，为最大的网络带宽，如果将关键连接层的关键节点的数量设置为K，则此时，既可以减少进行TCP连接花费的时间，也可以保证最大的网络传输性能。
本发明涉及到计算机网络，其主要有以下几个部分组成：
1，服务器，在服务器中为模型顶端，服务器即为客户端提供所需要的资源，也是客户端上传数据的目标主机，在本模型中，它和一些关键节点连接组成一个虚拟的局域网，在下载数据的时候，它首先把下载的数据发送到关键节点上去；在上传数据文件之时，它主要功能是负责接受客户端上传的数据。
2，关键节点，它是连接服务器与普通节点的桥梁，它们相对于服务器而言是客户端，但是相对于普通节点而言拥有服务器的某些功能。它负责下载所需要的数据，或者把数据上传到服务器中去。从图中可以看到，这些关键节点与服务器组成C/S架构，它们是客户端；它们与所在网络中的普通节点组成C/S架构，它们充当是服务器。
3，普通节点，它们是多层次传输模型的最低层，在进行数据下载时，它们与关键节点建立连接，下载数据，关键节点从服务器或者其他关键节点下载数据，将数据传输给目标节点，在进行上传数据时，普通节点将数据上传到关键节点上，通过关键节点将数据上传到服务器上。在这个过程中，普通节点并不是直接的和服务器相连接，而是通过关键节点层的连接，可以从总体上缓解的大规模的数据上传下载。
4，虚拟局域，在大的网络中，关键节点与相连的普通节点组成一个虚拟的局域网即为C/S构架，又或者关键节点与服务器组成一个虚拟的局域网也为一个C/S构架。
本发明的主要目的是解决大量小文件进行传输中效率不高的问题，通过将客户端划分为不同的虚拟局域网中，每一个虚拟局域网中选出一个关键节点组成一个虚拟网络与服务器组成一个新的局域网，当某一节点需要进行数据传输，首先连接该节点所在的局域网的关键节点，通过关键节点连接服务器，通过该方式，可以大大减轻服务器的压力，减少客户端的排队时延，形成并行传输机制，下面通过建立模型来介绍多层次数据传输模型。
在本发明中，CPU的频率为800MHZ，RAM容量为256MB，ROM为 512MB，操作系统Windows XP SP2。当客户端的数据量上升的时候，多层次数据传输模型优势就显现出来，减少了平均等待时间，总体提升了下载速度。
根据实验的结果，得出该方法减少了数据传输时间，提高了网络性能，有利于改善在服务器进行大规模小文件传输时网络出现的种种现象。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (1)
1.一种用于FTP协议的上传数据和下载数据的方法，其特征在于，该方法包括：
S101，普通节点向关键节点发送上传数据请求；
S102，所述关键节点接收上传数据请求，并向所述普通节点发送确认发送信息；
S103，所述普通节点接收确认发送信息后，向所述关键节点上传数据；以及
S104，所述关键节点接收所述数据，并将所述数据上传至服务器；
在步骤S104中，将所述关键节点与所述普通节点组成C/S架构，且所述关键节点与所述服务器组成C/S架构；
S201，所述普通节点向所述关键节点发送第一下载数据请求；
S202，判断所述关键节点中是否有所述数据；
S203，当所述关键节点中有所述数据时，所述普通节点进行下载，并通过计算得到下载时间；或
当所述关键节点中没有所述数据时，所述关键节点向所述服务器发送第二下载数据请求，所述服务器接收所述第二下载数据请求，并将所述数据发送给所述关键节点，所述普通节点对所述关键节点中的所述数据进行下载，并通过计算得到下载时间；
该方法还包括，计算下载时间的公式为：
其中，T为下载时间，g为带宽，t′为网络延迟的时间，w为所述关键节点的数量，s为数据的容量；
该方法还包括：增加所述带宽，所述带宽的计算公式为：
当则
当时，则
其中，N为与一个关键节点连接的普通节点的数量，W为关键节点的容量且为常量，B为链路的最小带宽，R为所述关键节点与普通节点传输的时延，P*为链路的丢包率；
关键节点，它是连接服务器与普通节点的桥梁，它们相对于服务器而言是客户端，但是相对于普通节点而言拥有服务器的功能；
普通节点，它们是多层次传输模型的最低层，在进行数据下载时，它们与关键节点建立连接，下载数据，关键节点从服务器或者其他关键节点下载数据，将数据传输给目标节点，在进行上传数据时，普通节点将数据上传到关键节点上，通过关键节点将数据上传到服务器上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410764780.7A CN104506592B (zh) | 2014-12-11 | 2014-12-11 | 用于ftp协议的上传数据和下载数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410764780.7A CN104506592B (zh) | 2014-12-11 | 2014-12-11 | 用于ftp协议的上传数据和下载数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104506592A CN104506592A (zh) | 2015-04-08 |
| CN104506592B true CN104506592B (zh) | 2018-10-16 |
Family
ID=52948307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410764780.7A Active CN104506592B (zh) | 2014-12-11 | 2014-12-11 | 用于ftp协议的上传数据和下载数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104506592B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310530B (zh) * | 2019-07-15 | 2021-11-02 | 贵州电网有限责任公司 | 基于环幕互动的电气设备绝缘试验仿真培训全息教师系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159676A (zh) * | 2007-11-06 | 2008-04-09 | 深圳市迅雷网络技术有限公司 | 一种数据传输的方法及系统 |
| CN101309282A (zh) * | 2008-07-10 | 2008-11-19 | 华为技术有限公司 | 一种局域网内传输文件的方法、服务器和系统 |
| CN102833337A (zh) * | 2012-08-30 | 2012-12-19 | 北京星网锐捷网络技术有限公司 | 一种ftp文件上传、下载方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2946164B1 (fr) * | 2009-05-29 | 2016-04-15 | Thales Sa | Procede de telechargement de donnees de grande taille vers un grand nombre de machines clientes en reseau a partir d'un serveur unique |
-
2014
- 2014-12-11 CN CN201410764780.7A patent/CN104506592B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159676A (zh) * | 2007-11-06 | 2008-04-09 | 深圳市迅雷网络技术有限公司 | 一种数据传输的方法及系统 |
| CN101309282A (zh) * | 2008-07-10 | 2008-11-19 | 华为技术有限公司 | 一种局域网内传输文件的方法、服务器和系统 |
| CN102833337A (zh) * | 2012-08-30 | 2012-12-19 | 北京星网锐捷网络技术有限公司 | 一种ftp文件上传、下载方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104506592A (zh) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4072080A1 (en) | Data flow control method and device | |
| CN112003660B (zh) | 一种网内资源的量纲测量方法、算力调度方法及存储介质 | |
| JP2006197279A (ja) | 情報処理方法及びルータ | |
| Feng et al. | Joint allocation and scheduling of network resource for multiple control applications in SDN | |
| US10382339B2 (en) | Large scale bandwidth management of IP flows using a hierarchy of traffic shaping devices | |
| CN105656964B (zh) | 数据推送的实现方法及装置 | |
| CN108173782A (zh) | 虚拟私有云中传输数据流的方法、装置及存储介质 | |
| Zheng et al. | Adaptive resource scheduling mechanism in P2P file sharing system | |
| CN108667888A (zh) | 一种负载均衡方法和装置 | |
| WO2017000094A1 (zh) | 一种数据存储方法、装置和系统 | |
| Nadeem et al. | An ns-3 mptcp implementation | |
| CN108924203A (zh) | 数据副本自适应分布方法、分布式计算系统及相关设备 | |
| Rao et al. | Can realistic bittorrent experiments be performed on clusters? | |
| JP2020028049A (ja) | 通信制御装置、通信制御システム、通信制御方法および通信制御プログラム | |
| CN104506592B (zh) | 用于ftp协议的上传数据和下载数据的方法 | |
| CN109417507A (zh) | 部分延迟的报文访问 | |
| CN104735073B (zh) | IPv4-IPv6过渡协议调度方法和装置 | |
| JP5633049B2 (ja) | 多数のアクティブ物理インタフェースの帯域幅をアプリケーション層でアグリゲートするシステム及び方法 | |
| CN105471765A (zh) | 一种云平台的虚拟机外网带宽限制方法 | |
| CN102104503B (zh) | 一种网络的传输流量仿真方法及设备 | |
| JP6181577B2 (ja) | ポリシー制御システム、および、ポリシー制御プログラム | |
| Liu et al. | Atlas: automate online service configuration in network slicing | |
| Jia et al. | Modeling and analysis of sharing ratio enforcement in private bittorrent communities | |
| US11172041B2 (en) | Communication proxy for devices in mobile edge computing networks | |
| Tiesel et al. | Socket intents: Os support for using multiple access networks and its benefits for web browsing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211109 Address after: Room b247, exhibition hall, 1f, No. 11, Guotai Road, Yangpu District, Shanghai 200082 Patentee after: Shanghai yilide Information Technology Co.,Ltd. Address before: 241002 Science and Technology Service Department, No. 189 Jiuhua South Road, Yijiang District, Wuhu City, Anhui Province Patentee before: ANHUI NORMAL University |