CN108900638A - 一种在不中断并发异步连接的情况下确保全带宽使用的方法 - Google Patents

一种在不中断并发异步连接的情况下确保全带宽使用的方法 Download PDF

Info

Publication number
CN108900638A
CN108900638A CN201810896197.XA CN201810896197A CN108900638A CN 108900638 A CN108900638 A CN 108900638A CN 201810896197 A CN201810896197 A CN 201810896197A CN 108900638 A CN108900638 A CN 108900638A
Authority
CN
China
Prior art keywords
case
interrupting
downloading
size
full bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810896197.XA
Other languages
English (en)
Inventor
陈若天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810896197.XA priority Critical patent/CN108900638A/zh
Publication of CN108900638A publication Critical patent/CN108900638A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种在不中断并发异步连接的情况下确保全带宽使用的方法，所述方法包括：拆分文件；线程分配；初始化片段列表；分配缩放；下载。本发明能够最大限度地利用多线程和异步I/O的优势实现网络和硬件资源的最大化，基于多线程连接任务的先例，建立多服务器连接并将各个会话划分为多个片段，同时优化最快的资源持有者，为多线程下载领域提供了一个新的方法。

Description

一种在不中断并发异步连接的情况下确保全带宽使用的方法
技术领域
本发明属于下载技术领域，特别涉及一种在不中断并发异步连接的情况下确保全带宽使用的方法。
背景技术
以前的多线程下载实现效率低，因为它们无法克服与跨地理定位障碍在不同主机服务器（在内容交付网络中）之间传输速率差异相关的问题，宽带使用率比较低，海量数据传输稳定性比较低，由于现有的技术/产品有上述的不足之处，因此发明新的技术解决这些不足之处具有非常重要的意义，为此，本发明提出一种在不中断并发异步连接的情况下确保全带宽使用的方法。
发明内容
为了解决现有技术存在的问题，本发明提供了一种在不中断并发异步连接的情况下确保全带宽使用的方法，能够最大限度地利用多线程和异步I/O的优势实现网络和硬件资源的最大化，建立多服务器连接并将各个会话划分为多个片段，同时优化最快的资源持有者。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种在不中断并发异步连接的情况下确保全带宽使用的方法，所述方法包括以下步骤：
步骤一：拆分文件；请求的文件客户端被划分为大小相同的片段；
步骤二：线程分配；根据需要文件大小创建若干个实例，在此示例中，创建了三个实例；
步骤三：初始化片段列表；如果启用了算法，则每个片段类的数组都存储IP地址、主机名、偏移量和ifsweep开关，通过碎片列表进行迭代；
步骤四：分配缩放；迭代完成后，进行分配缩放，分配算法为：下载大小和片段大小之间的比率应等于间隙大小(为较慢的工作人员留出的尺寸)和大小保持在一起，传输速率较高的线程分配给相应的偏移量；
步骤五：下载；分配缩放后开始下载，下载采用贪婪模式。
作为本发明的一种优选方式，所述步骤四中，下载/（（下载+未分配））=（[为慢工作者保留的差距]）/未分配。
作为本发明的一种优选方式，所述步骤五中贪婪模式为：在整个表达式匹配成功的情况下尽可能多的匹配。
作为本发明的一种优选方式，所述步骤五中下载完毕后，由于不使用线程池，因此调用JOIN（）来终止。
作为本发明的一种优选方式，速度可能会受到硬件性能的限制（例如，如果没有适当的优化，配置不当的网络适配器，其他重负载应用程序占用的CPU很大程度上会减慢速度）。
本发明的有益效果为：
1、本发明一种在不中断并发异步连接的情况下确保全带宽使用的方法能够最大限度地利用多线程和异步I/O的优势实现网络和硬件资源的最大化，基于多线程连接任务的先例，建立多服务器连接并将各个会话划分为多个片段，同时优化最快的资源持有者，能够实现稳定的海量数据传输，为多线程下载领域提供了一个新的方法；
2、本发明一种在不中断并发异步连接的情况下确保全带宽使用的方法，对于客户来说能够实现完整的ISP带宽使用率和TCP连接稳定；
3、本发明一种在不中断并发异步连接的情况下确保全带宽使用的方法，对于网站托管服务器来说能够进一步避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定，提高网络效率。
附图说明
图1为一种在不中断并发异步连接的情况下确保全带宽使用的方法的工作流程图。
图2为一种在不中断并发异步连接的情况下确保全带宽使用的方法的方法流程示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1至图2，本发明提供一种技术方案：一种在不中断并发异步连接的情况下确保全带宽使用的方法，所述方法包括以下步骤：
步骤一：拆分文件；请求的文件客户端被划分为大小相同的片段；
步骤二：线程分配；根据需要文件大小创建若干个实例，在此示例中，创建了三个实例；
步骤三：初始化片段列表；如果启用了算法，则每个片段类的数组都存储IP地址、主机名、偏移量和ifsweep开关，通过碎片列表进行迭代；
步骤四：分配缩放；迭代完成后，进行分配缩放，分配算法为：下载大小和片段大小之间的比率应等于间隙大小(为较慢的工作人员留出的尺寸)和大小保持在一起，传输速率较高的线程分配给相应的偏移量；
步骤五：下载；分配缩放后开始下载，下载采用贪婪模式。
作为本发明的一种优选方式，所述步骤四中，下载/（（下载+未分配））=（[为慢工作者保留的差距]）/未分配。
作为本发明的一种优选方式，所述步骤五中贪婪模式为：在整个表达式匹配成功的情况下尽可能多的匹配。
作为本发明的一种优选方式，所述步骤五中下载完毕后，由于不使用线程池，因此调用JOIN（）来终止。
作为本发明的一种优选方式，速度可能会受到硬件性能的限制（例如，如果没有适当的优化，配置不当的网络适配器，其他重负载应用程序占用的CPU很大程度上会减慢速度）。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种在不中断并发异步连接的情况下确保全带宽使用的方法，其特征在于，所述方法包括以下步骤：
步骤一：拆分文件；请求的文件客户端被划分为大小相同的片段；
步骤二：线程分配；根据需要文件大小创建若干个实例，在此示例中，创建了三个实例；
步骤三：初始化片段列表；如果启用了算法，则每个片段类的数组都存储IP地址、主机名、偏移量和ifsweep开关，通过碎片列表进行迭代；
步骤四：分配缩放；迭代完成后，进行分配缩放，分配算法为：下载大小和片段大小之间的比率应等于间隙大小(为较慢的工作人员留出的尺寸)和大小保持在一起，传输速率较高的线程分配给相应的偏移量；
步骤五：下载；分配缩放后开始下载，下载采用贪婪模式。
2.根据权利要求1所述的一种在不中断并发异步连接的情况下确保全带宽使用的方法，其特征在于，所述步骤四中，下载/（（下载+未分配））=（[为慢工作者保留的差距]）/未分配。
3.根据权利要求1所述的一种在不中断并发异步连接的情况下确保全带宽使用的方法，其特征在于，所述步骤五中贪婪模式为：在整个表达式匹配成功的情况下尽可能多的匹配。
4.根据权利要求1所述的一种在不中断并发异步连接的情况下确保全带宽使用的方法，其特征在于，所述步骤五中下载完毕后，由于不使用线程池，因此调用JOIN（）来终止。
5.根据权利要求1所述的一种在不中断并发异步连接的情况下确保全带宽使用的方法，其特征在于，速度可能会受到硬件性能的限制（例如，如果没有适当的优化，配置不当的网络适配器，其他重负载应用程序占用的CPU很大程度上会减慢速度）。
CN201810896197.XA 2018-08-08 2018-08-08 一种在不中断并发异步连接的情况下确保全带宽使用的方法 Pending CN108900638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810896197.XA CN108900638A (zh) 2018-08-08 2018-08-08 一种在不中断并发异步连接的情况下确保全带宽使用的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810896197.XA CN108900638A (zh) 2018-08-08 2018-08-08 一种在不中断并发异步连接的情况下确保全带宽使用的方法

Publications (1)

Publication Number Publication Date
CN108900638A true CN108900638A (zh) 2018-11-27

Family

ID=64353502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896197.XA Pending CN108900638A (zh) 2018-08-08 2018-08-08 一种在不中断并发异步连接的情况下确保全带宽使用的方法

Country Status (1)

Country Link
CN (1) CN108900638A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198930A1 (en) * 2001-06-25 2002-12-26 International Business Machines Corporation Method and apparatus for wide-spread distribution of electronic content in a peer to peer fashion
CN1425990A (zh) * 2001-12-13 2003-06-25 杨磊 因特网多服务器文件并发下载技术
CN1434386A (zh) * 2003-01-25 2003-08-06 华中科技大学 基于集群视频服务器的节目源分片分布式存储方法
CN101286928A (zh) * 2008-05-08 2008-10-15 蒋一 一种基于带宽保证技术实现p2p流媒体系统的方法
CN106550042A (zh) * 2016-11-23 2017-03-29 广州优视网络科技有限公司 多线程下载方法和装置及计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198930A1 (en) * 2001-06-25 2002-12-26 International Business Machines Corporation Method and apparatus for wide-spread distribution of electronic content in a peer to peer fashion
CN1425990A (zh) * 2001-12-13 2003-06-25 杨磊 因特网多服务器文件并发下载技术
CN1434386A (zh) * 2003-01-25 2003-08-06 华中科技大学 基于集群视频服务器的节目源分片分布式存储方法
CN101286928A (zh) * 2008-05-08 2008-10-15 蒋一 一种基于带宽保证技术实现p2p流媒体系统的方法
CN106550042A (zh) * 2016-11-23 2017-03-29 广州优视网络科技有限公司 多线程下载方法和装置及计算设备

Similar Documents

Publication Publication Date Title
US9270608B2 (en) Multi-stage large send offload
US10027781B2 (en) TCP link configuration method, apparatus, and device
US9178966B2 (en) Using transmission control protocol/internet protocol (TCP/IP) to setup high speed out of band data communication connections
Al-Jaroodi et al. DDFTP: dual-direction FTP
US8271669B2 (en) Method and system for extended steering tags (STAGS) to minimize memory bandwidth for content delivery servers
US10735373B2 (en) Communications over multiple protocol interfaces in a computing environment
US10164870B2 (en) Relaxed ordering network
US20140157267A1 (en) Data flow affinity for heterogenous virtual machines
CN110149374A (zh) 一种文件传输方法、终端设备及计算机可读存储介质
US10135944B2 (en) Processing a unit of work
Chen et al. One rein to rule them all: A framework for datacenter-to-user congestion control
CN108900638A (zh) 一种在不中断并发异步连接的情况下确保全带宽使用的方法
Xiang et al. Taming latency in data center networking with erasure coded files
CN102904964A (zh) 基于完成端口模型的海量集中器并发处理方法
Dalessandro et al. A performance analysis of the ammasso rdma enabled ethernet adapter and its iwarp api
CN102137101A (zh) 一种基于SCTP的嵌入式Linux系统数据传输的方法及系统
CN102624858A (zh) 面向小区局域网的大字节文件下载方法
US9723112B1 (en) Big data transfer optimization
US8805958B2 (en) Exploiting cluster awareness infrastructure through internet socket based applications
Noureddine NFS/RDMA over 40Gbps iWARP
Kim et al. The offloading of socket information for TCP/IP offload engine
Gu et al. StackPool: A high-performance scalable network architecture on multi-core servers
Vishwanath et al. A case for UDP offload engines in LambdaGrids
Valdovinos et al. Tcp extension to send traffic simultaneously through multiple heterogeneous network interfaces
Chiueh et al. Broadcast trivial file transfer protocol

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127

RJ01 Rejection of invention patent application after publication