CN103023937A - 一种网络文件的分发方法及系统 - Google Patents

一种网络文件的分发方法及系统 Download PDF

Info

Publication number
CN103023937A
CN103023937A CN2011102877781A CN201110287778A CN103023937A CN 103023937 A CN103023937 A CN 103023937A CN 2011102877781 A CN2011102877781 A CN 2011102877781A CN 201110287778 A CN201110287778 A CN 201110287778A CN 103023937 A CN103023937 A CN 103023937A
Authority
CN
China
Prior art keywords
terminal
file
network
server
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011102877781A
Other languages
English (en)
Inventor
钱维云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Digital Video Beijing Ltd
Original Assignee
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University Founder Group Co Ltd
Priority to CN2011102877781A priority Critical patent/CN103023937A/zh
Publication of CN103023937A publication Critical patent/CN103023937A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网络文件的分发方法,包括以下步骤:通知终端向服务器下载文件,终端根据所述通知向服务器下载所述文件,直到服务端的带宽达到饱和;查询是否存在将所述文件已经下载完毕的终端;如果存在,则通知新终端从已经下载完毕的终端下载文件;否则,等待,直到服务端的带宽不饱和或者存在已经下载完毕的终端。本发明还公开了一种与上述方法相对应的网络文件分发系统。本发明在服务端有限的带宽下,充分利用了终端的网络资源,大大提高了网络文件的分发效率。而且,由于采用的是普通的文件传输方式,一般不会被屏蔽,可以正常地完成文件分发。

Description

一种网络文件的分发方法及系统
技术领域
本发明属于文件分发技术领域,具体涉及一种在固定带宽下的网络文件分发方法及系统。
背景技术
现有的网络文件分发系统,主要存在如下两种结构:
如图1所示,一种结构是在网络中心部署服务端11,服务端11可以是一台服务器或者服务器集群,各个终端12通过网络与服务端11连接。服务端11通过网络将文件分发给各个终端12。这种结构的分发系统,如果服务端11带宽是固定的,那么该系统支持的最大下载速度便是固定的,无法应对越来越快的网络传输需求。
如图2所示,另一种结构是P2P(Peer-to-Peer,点对点)结构,终端12之间相互连接。文件在各个终端12之间共享分发。这种结构的分发系统依赖网络中终端12的计算能力和带宽,而不把依赖都聚集在较少的几台服务器上。但是,这种结构的分发系统会抢占网络带宽,导致很多终端12在其防火墙上屏蔽P2P,使得文件无法分发完成。
发明内容
针对现有技术中存在的缺陷,本发明所要解决的技术问题是提供一种快速的网络文件分发方法及系统。
为解决上述技术问题,本发明采用的技术方案如下:
一种网络文件的分发方法,包括以下步骤:
(1)通知终端向服务器下载文件,终端根据所述通知向服务器下载所述文件,直到服务端的带宽达到饱和;
(2)查询是否存在将所述文件已经下载完毕的终端;如果存在,则通知新终端从已经下载完毕的终端下载文件;否则,等待,直到服务端的带宽不饱和或者存在已经下载完毕的终端。
一种网络文件的分发系统,包括服务端及与服务端通过网络连接的若干终端,所述终端之间通过网络相互连接,所述服务端包括服务器;
所述服务端还包括中心服务调度装置,用于通知终端向服务器下载文件,当服务端的带宽达到饱和时,查询是否存在将文件已经下载完毕的终端;如果存在,则通知新终端从已经下载完毕的终端下载文件;
所述终端包括用于从服务器或者其他终端下载文件的下载装置;用于向其他终端提供文件下载服务的文件服务装置。
本发明所述方法及系统,当服务端的带宽达到饱和时,已下载完毕的终端可继续充当服务器支持其他终端下载。这样在服务端有限的带宽下,充分利用了终端的网络资源,大大提高了网络文件的分发效率。而且,由于采用的是普通的文件传输方式,一般不会被屏蔽,可以正常地完成文件分发。
附图说明
图1和图2是现有技术中网络文件分发系统的两种结构示意图;
图3是具体实施方式中网络文件分发系统的结构示意图;
图4和图5是具体实施方式中网络文件分发方法的流程示意图。
具体实施方式
本发明适用于在固定带宽下分发网络文件,其核心思想是:当服务端的带宽饱和时,充分利用终端的带宽,从而实现将文件快速分发给终端的目的。本发明具有如下几个特点:①服务端带宽是固定的;②各个终端均需部署文件服务装置;③服务端需要部署中心服务调度装置;④终端完成文件下载后需通知给中心服务调度装置。下面结合具体实施方式和附图对本发明进行详细描述。
如图3所示,本实施方式中的网络文件分发系统包括服务端31和与服务端31通过网络连接的若干终端32,终端32之间通过网络相互连接。服务端31包括一台服务器311或者服务器集群以及中心服务调度装置310,中心服务调度装置310可以设置在一台服务器311中,也可以单独设置。中心服务调度装置310包括检测单元3101、记录单元3102和查询单元3103。终端32包括下载装置321、通知装置322和文件服务装置323。
中心服务调度装置310用于通知终端向服务器311下载文件,当服务端31的带宽达到饱和时,查询是否存在将文件已经下载完毕的终端32;如果存在,则通知新终端32从已经下载完毕的终端32下载文件。其中,检测单元3101用于检测服务端31的带宽是否达到饱和;记录单元3102用于记录文件已下载完毕的终端32;查询单元3103用于查询文件已下载完毕的终端32。
下载装置321用于从服务器311或者其他终端32下载文件;通知装置322用于当终端32将文件下载完毕后通知中心服务调度装置11;文件服务装置323用于向其他终端2提供文件下载服务,可以是FTP(File TransferProtocol,文件传输协议)服务装置或者其他类似服务装置。
如图4和图5所示,采用上述网络文件分发系统分发文件的方法包括以下步骤:
(1)中心服务调度装置310通知终端32向服务器311(服务器集群中的一台服务器)下载文件,终端32的下载装置321根据该通知向服务器311下载文件。
中心服务调度装置310可以向任意终端32发送消息,该消息中包括文件服务地址,接到消息的终端32根据消息到指定的文件服务地址下载文件,存放到指定目录下。当终端32下载完毕后,通知装置322向中心服务调度装置310发送通知,记录单元3102将已下载完毕的终端32记录到已下载完毕的终端队列中。
(2)检测单元3101实时检测服务端31的带宽是否达到饱和。如果服务端31的带宽未饱和,则转至步骤(1),继续通知其他终端32向服务器311(服务器集群中的一台服务器)下载文件。如果服务端31的带宽饱和,则进入下一步。
本实施方式中,判断服务端的带宽是否饱和主要根据如下两个方面:网络带宽利用率、服务器连接数(其他关于磁盘IO、CPU、总线等参数对实际使用的服务器影响的比重相对上述两个参数来说不是太大)。当某台服务器网络带宽利用率达到80%以上,即认为饱和。服务器连接数根据具体的服务器硬件性能,FTP服务软件性能来设定(通过实验获取)。例如,一台使用FileZilla Server软件的服务器,设定的连接数为300,当连接数达到300后,也认为该服务器处于饱和。此处设置连接数的判断,是因为可能有些终端下载速度本身受限,导致300个连接到服务器上时,服务器的带宽也没有被利用到最大,如果连接数超过300,又会使服务出现一些无效的连接(即该连接会出错,不会产生数据传输),这样就需要多个服务器来提供服务,使得总带宽利用到最大。因此检测的方式主要是服务器的网络带宽和连接数。
(3)查询单元3103查询是否存在文件已下载完毕的终端32。如果存在,则中心服务调度装置310通知新的终端32从已下载完毕的终端32下载文件。如果不存在,则等待,直到服务端31的带宽不饱和或者存在已经下载完毕的终端32。
查询单元3103查询已下载完毕的终端队列是否为空。如果为空,则说明没有已下载完毕的终端32,等待,直到检测单元3101检测到服务器带宽从饱和状态变为不饱和,或者查询单元3103查询到有新的终端下载完毕,中心服务调度装置310将带宽不饱和的服务器或者新下载完毕的终端通知给未通知的终端32进行下载。如果不为空,则说明存在已下载完毕的终端32。中心服务调度装置310将已下载完毕的终端32的文件服务地址以消息的方式发送给新终端32,新终端32根据消息到指定的文件服务地址下载文件,存放到指定目录下。终端32之间通过文件服务装置323下载文件。
如果已下载完毕的终端32存在多个,则可以选择但不限于下述两种方式之一:①随机选择一个终端32通知新终端32从该终端32下载文件;②先判断是否存在未饱和的终端32;如果存在未饱和的终端32且只有一个,则直接通知新终端32从该终端32下载文件;如果存在多个未饱和的终端32,则从未饱和的终端32中选出负载最轻的终端32(如果负载最轻的终端32存在多个,则随机选择一个),通知新终端32从该终端32下载文件;如果不存在未饱和的终端32,则等待,直到出现未饱和的服务器311或终端32。
如果采用第②种方式,那么在中心服务调度装置310中还需要设置判断单元,用于在已下载完毕的终端中判断出未饱和且负载最轻的终端。终端与服务器一样存在一个饱和度,因为终端的硬件性能比较低,而且在终端上还有其他应用。终端的饱和度也是通过实验获取,在不影响终端其他应用的情况下,可支持的其他终端跟该终端的最大连接数,当终端的连接数低于该值时,则认为终端未饱和。当通知新终端从已下载完毕的终端下载文件时,从已下载完毕但未饱和的负载最轻的终端中选择一个。负载最轻的判断依据是根据连接数的数量,连接数最少的终端被认为是负载最轻的终端。但是,如果连接数最少的终端也达到饱和,则等待,直到出现未饱和的服务器或终端。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种网络文件的分发方法,其特征在于,包括以下步骤:
(1)通知终端向服务器下载文件,终端根据所述通知向服务器下载所述文件,直到服务端的带宽达到饱和;
(2)查询是否存在将所述文件已经下载完毕的终端;如果存在,则通知新终端从已经下载完毕的终端下载文件;否则,等待,直到服务端的带宽不饱和或者存在已经下载完毕的终端。
2.如权利要求1所述的网络文件的分发方法,其特征在于:步骤(1)中,服务端的带宽是否达到饱和根据网络带宽的利用率或者服务器的连接数确定,如果网络带宽的利用率或者服务器的连接数达到设定阈值,则服务端的带宽饱和。
3.如权利要求1所述的网络文件的分发方法,其特征在于:当终端从服务器或其他终端下载完所述文件后,发送所述文件已下载完毕通知。
4.如权利要求3所述的网络文件的分发方法,其特征在于:记录所述文件已下载完毕的终端。
5.如权利要求4所述的网络文件的分发方法,其特征在于:将所述文件已下载完毕的终端记录到队列中。
6.如权利要求1所述的网络文件的分发方法,其特征在于:步骤(2)中,如果已下载完毕的终端存在多个,则随机选择一个终端通知新终端从该终端下载文件。
7.如权利要求1所述的网络文件的分发方法,其特征在于:步骤(2)中,如果已下载完毕的终端存在多个,则先判断出未饱和且负载最轻的终端,通知新终端从该终端下载文件;如果存在多个未饱和且负载最轻的终端,则随机选择一个。
8.如权利要求7所述的网络文件的分发方法,其特征在于,所述未饱和且负载最轻的终端判断方法如下:确定终端可支持的与其他终端的最大连接数,当终端的连接数高于所述最大连接数时,则终端饱和;在未饱和的终端中,连接数最少的终端为负载最轻的终端。
9.一种网络文件的分发系统,包括服务端(31)及与服务端(31)通过网络连接的若干终端(32),所述终端(32)之间通过网络相互连接,所述服务端(31)包括服务器(311),其特征在于:
所述服务端(13)还包括中心服务调度装置(310),用于通知终端向服务器(311)下载文件,当服务端(31)的带宽达到饱和时,查询是否存在将文件已经下载完毕的终端(32);如果存在,则通知新终端(32)从已经下载完毕的终端(32)下载文件;
所述终端(32)包括用于从服务器(311)或者其他终端(32)下载文件的下载装置(321);用于向其他终端(32)提供文件下载服务的文件服务装置(323)。
10.如权利要求9所述的网络文件的分发系统,其特征在于:所述中心服务调度装置(310)包括用于检测服务端的带宽是否达到饱和的检测单元(3101);用于记录文件已下载完毕的终端的记录单元(3102);以及用于查询文件已下载完毕的终端的查询单元(3103)。
11.如权利要求9所述的网络文件的分发系统,其特征在于:所述终端(32)还包括用于当文件下载完毕后通知中心服务调度装置(310)的通知装置(21)。
12.如权利要求9~11中任一项所述的网络文件的分发系统,其特征在于:所述中心服务调度装置(310)还包括用于在已下载完毕的终端中判断出未饱和且负载最轻的终端的判断单元。
CN2011102877781A 2011-09-26 2011-09-26 一种网络文件的分发方法及系统 Pending CN103023937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011102877781A CN103023937A (zh) 2011-09-26 2011-09-26 一种网络文件的分发方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011102877781A CN103023937A (zh) 2011-09-26 2011-09-26 一种网络文件的分发方法及系统

Publications (1)

Publication Number Publication Date
CN103023937A true CN103023937A (zh) 2013-04-03

Family

ID=47972065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102877781A Pending CN103023937A (zh) 2011-09-26 2011-09-26 一种网络文件的分发方法及系统

Country Status (1)

Country Link
CN (1) CN103023937A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532674A (zh) * 2013-10-23 2014-01-22 东北大学 一种基于复杂网络的文件传输编码方法
CN104580304A (zh) * 2013-10-18 2015-04-29 北大方正集团有限公司 分布式平台的数据下载方法、装置及系统
CN104811759A (zh) * 2015-04-01 2015-07-29 深圳市九洲电器有限公司 机顶盒动态升级方法及系统
CN111190877A (zh) * 2019-12-27 2020-05-22 全球能源互联网研究院有限公司 一种基于企业内网的分布式文件分发方法及系统
CN113660117A (zh) * 2021-08-03 2021-11-16 西安万像电子科技有限公司 加快终端设备内容投放的方法及装置、内容投放系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技(深圳)有限公司 实现文件下载的网络通信系统及方法
CN1972311A (zh) * 2006-12-08 2007-05-30 华中科技大学 一种基于集群均衡负载的流媒体服务器系统
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及系统
CN101094387A (zh) * 2006-06-19 2007-12-26 北京北大方正电子有限公司 一种网络内容传输控制系统和方法
CN101252602A (zh) * 2008-03-31 2008-08-27 华为技术有限公司 文件分发及下载的方法和系统
CN101800731A (zh) * 2009-02-06 2010-08-11 株式会社日立制作所 网络传输管理服务器、网络传输管理方法及网络传输系统
CN101808118A (zh) * 2010-03-02 2010-08-18 浪潮(北京)电子信息产业有限公司 服务器访问方法、装置和系统
CN102158512A (zh) * 2010-02-11 2011-08-17 联想(北京)有限公司 一种负载均衡调度方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技(深圳)有限公司 实现文件下载的网络通信系统及方法
CN101094387A (zh) * 2006-06-19 2007-12-26 北京北大方正电子有限公司 一种网络内容传输控制系统和方法
CN1972311A (zh) * 2006-12-08 2007-05-30 华中科技大学 一种基于集群均衡负载的流媒体服务器系统
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及系统
CN101252602A (zh) * 2008-03-31 2008-08-27 华为技术有限公司 文件分发及下载的方法和系统
CN101800731A (zh) * 2009-02-06 2010-08-11 株式会社日立制作所 网络传输管理服务器、网络传输管理方法及网络传输系统
CN102158512A (zh) * 2010-02-11 2011-08-17 联想(北京)有限公司 一种负载均衡调度方法、装置及系统
CN101808118A (zh) * 2010-03-02 2010-08-18 浪潮(北京)电子信息产业有限公司 服务器访问方法、装置和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580304A (zh) * 2013-10-18 2015-04-29 北大方正集团有限公司 分布式平台的数据下载方法、装置及系统
CN103532674A (zh) * 2013-10-23 2014-01-22 东北大学 一种基于复杂网络的文件传输编码方法
CN103532674B (zh) * 2013-10-23 2016-08-17 东北大学 一种基于复杂网络的文件传输编码方法
CN104811759A (zh) * 2015-04-01 2015-07-29 深圳市九洲电器有限公司 机顶盒动态升级方法及系统
CN111190877A (zh) * 2019-12-27 2020-05-22 全球能源互联网研究院有限公司 一种基于企业内网的分布式文件分发方法及系统
CN111190877B (zh) * 2019-12-27 2023-05-05 全球能源互联网研究院有限公司 一种基于企业内网的分布式文件分发方法及系统
CN113660117A (zh) * 2021-08-03 2021-11-16 西安万像电子科技有限公司 加快终端设备内容投放的方法及装置、内容投放系统
CN113660117B (zh) * 2021-08-03 2024-06-11 西安万像电子科技有限公司 加快终端设备内容投放的方法及装置、内容投放系统

Similar Documents

Publication Publication Date Title
US11076012B2 (en) Server cluster and method for push notification service
KR101227121B1 (ko) 피어 투 피어 콘텐츠 배포 네트워크를 이용한 비디오 서비스 지연 다운로딩
CN105007337A (zh) 集群系统负载均衡的方法和系统
CN103516744A (zh) 一种数据处理的方法和应用服务器及集群
CN103401896B (zh) 一种多Android客户端服务共享方法及系统
CN111615066A (zh) 一种基于广播的分布式微服务注册及调用方法
CN103023937A (zh) 一种网络文件的分发方法及系统
CN110858843A (zh) 业务请求处理方法、装置及计算机可读存储介质
CN112118315A (zh) 数据处理系统、方法、装置、电子设备和存储介质
CA2668881A1 (en) System and method for enhanced experience with a peer to peer network
CN102158346A (zh) 基于云计算的信息采集系统及方法
CA3030504A1 (en) Blockchain network and task scheduling method therefor
CN111083181A (zh) 大规模接入物联网的设备调度方法、网关和系统
CN112202918A (zh) 长连接通信的负载调度方法、装置、设备及存储介质
CN102571568A (zh) 任务处理方法及装置
CN108156257A (zh) 一种信息推送方法及装置
CN111930710A (zh) 一种大数据内容分发的方法
CN109194993B (zh) 媒体文件分发方法及文件分发平台
CN102340522A (zh) 数据传输方法和装置
CN117032987A (zh) 分布式任务调度方法、系统、设备及计算机可读介质
KR20120128013A (ko) 망 부하 감소를 위한 푸시 서비스 제공 시스템 및 방법
CN105827567B (zh) 服务管控方法及能力开放平台
CN112118275B (zh) 过载处理方法、物联网平台及计算机可读存储介质
CN113608870A (zh) 消息队列的负载均衡方法及装置、电子设备及存储介质
WO2011012034A1 (zh) 一种自动扩散资源的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Free format text: FORMER OWNER: BEIDA FANGZHENG ELECTRONICS CO., LTD., BEIJING

Effective date: 20131104

Owner name: XIN'AOTE(BEIJING) VIDEO TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: BEIDA FANGZHENG GROUP CO. LTD.

Effective date: 20131104

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100871 HAIDIAN, BEIJING TO: 100080 HAIDIAN, BEIJING

TA01 Transfer of patent application right

Effective date of registration: 20131104

Address after: Newauto Technology Building No. 49 Beijing 100080 Haidian District Wukesong Road

Applicant after: China Digital Video (Beijing) Limited

Address before: 100871 Beijing, Haidian District, into the mansion building, No. 298

Applicant before: Peking Founder Group Co., Ltd.

Applicant before: Beida Fangzheng Electronics Co., Ltd., Beijing

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130403