CN103634346A - 网络数据中心的数据分发方法和系统 - Google Patents
网络数据中心的数据分发方法和系统 Download PDFInfo
- Publication number
- CN103634346A CN103634346A CN201210302934.1A CN201210302934A CN103634346A CN 103634346 A CN103634346 A CN 103634346A CN 201210302934 A CN201210302934 A CN 201210302934A CN 103634346 A CN103634346 A CN 103634346A
- Authority
- CN
- China
- Prior art keywords
- server
- source file
- node server
- node
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
一种网络数据中心的数据分发方法,包括以下步骤:网络数据中心的至少一个节点服务器从数据源服务器下载源文件;下载管理服务器存储已下载所述源文件的节点服务器的标识;网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从所述已下载源文件的节点服务器下载所述源文件。上述方法,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。
Description
【技术领域】
本发明涉及网络技术,特别地涉及一种网络数据中心的数据分发方法和系统。
【背景技术】
网络数据中心(Internet Data Center,IDC)是基于Internet网络的、包含多台服务器的网络基地。每台服务器都是IDC的用于集中式收集、存储、处理和发送数据的节点,因此服务器也可称作为节点服务器。IDC的节点服务器之间相互连接形成局域网。
随着互联网的快速发展,互联网公司的业务也发展迅速,用于支撑业务的IDC的服务器的数量更是日趋庞大,一个IDC部署的服务器有的多达几万台甚至几十万台。为了满足业务扩展的需求以及考虑到地域分布的因素,往往在不同区域部署多个IDC支撑业务。不同的IDC之间一般通过专用线路(专线)通信连接,构成一个巨大的服务器网络。采用专线进行通信连接使得不同IDC之间的通信速度非常快,然而专线的带宽成本非常昂贵。
IDC中的节点服务器通常需要安装相同的系统软件或应用软件以支撑同一业务。因此,需要在多个IDC的多个节点服务器之间分发同一文件。
传统网络数据中心的分发数据的方法,一般将某一个IDC中的某一台服务器作为数据源服务器,在数据源服务器上部署源文件,由其它节点服务器(包括该IDC的其它节点服务器以及其它IDC的节点服务器)从数据源服务器下载源文件。由于不同IDC的节点服务器之间的通信需要占用连接IDC的专线带宽,而很多IDC的节点服务器数量比较大,且系统软件或应用软件的更新频率又比较快,因而传统的方法在多个IDC之间分发数据时需要占用大量的专线带宽。
另外,在传统的方法中,数据源服务器一旦发生错误,即可能导致还未下载源文件的节点服务器不能再下载源文件,因此,传统的方法容错率较低。
【发明内容】
基于此,有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的方法。
一种网络数据中心的数据分发方法,包括以下步骤:
网络数据中心的至少一个节点服务器从数据源服务器下载源文件;
下载管理服务器存储已下载所述源文件的节点服务器的标识;
网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从所述已下载源文件的节点服务器下载所述源文件。
基于此,有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的系统。
一种网络数据中心的数据分发系统,包括网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器,所述节点服务器包括第一节点服务器和第二节点服务器,其中:
数据源服务器用于存储和分发源文件;所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识;
第一节点服务器用于从所述数据源服务器下载所述源文件;
所述第二节点服务器用于向所述下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述第二节点服务器还用于与查询得到的节点服务器建立下载连接,从查询得到的节点服务器下载所述源文件。
上述网络数据中心的数据分发方法和系统,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。
【附图说明】
图1为一个实施例中的网络数据中心的数据分发方法的流程示意图;
图2为一个实施例中启动节点服务器下载源文件的步骤的流程示意图;
图3为一个实施例中图1的步骤S40的流程示意图;
图4为一个实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图;
图5为另一实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图;
图6为一个实施例中的网络数据中心的数据分发系统的结构示意图;
图7为另一实施例中的网络数据中心的数据分发系统的结构示意图;
图8为又一实施例中的网络数据中心的数据分发系统的结构示意图。
【具体实施方式】
如图1所示,在一个实施例中,一种网络数据中心的数据分发方法,包括以下步骤:
步骤S20,网络数据中心的至少一个节点服务器从数据源服务器下载源文件。
在一个实施例中,从数据源服务器下载源文件的节点服务器可以是分别属于不同的IDC的多个节点服务器。节点服务器下载了源文件之后,可供还未下载源文件的其他节点服务器(包括属于相同IDC的其他节点服务器和属于不同IDC的其它节点服务器)下载源文件。具体的,数据源服务器可包含于某一个IDC,为该IDC中的一台存储了源文件的服务器。
在一个实施例中,在步骤S20之前,可上传源文件至数据源服务器。
在一个实施例中,在步骤S20之前,上述网络数据中心的数据分发方法还包括以下步骤:节点服务器获取本机安装的软件的标识和版本信息,上报到节点信息管理服务器;节点信息管理服务器获取并保存节点服务器上报的本机安装的软件标识和版本信息。
具体的,节点信息管理服务器获取到节点服务器上报的软件的标识和版本信息后,可存储节点服务器的标识与安装的软件的标识和版本信息的对应关系。
如图2所示,在步骤S20之前,上述网络数据中心的数据分发方法还包括启动节点服务器下载源文件的步骤,具体过程包括:
步骤S102,调度管理服务器根据节点信息管理服务器存储的节点服务器安装的软件的标识和版本信息获取需要下载源文件的节点服务器。
具体的,调度管理服务器可将节点服务器安装的软件的标识和版本信息与源文件的标识和版本信息进行比较,若节点服务器安装的软件不包括源文件或节点服务器安装的软件的版本比源文件的版本低,则判定该节点服务器为需要下载源文件的节点服务器。
步骤S104,调度管理服务器选取需要下载源文件的节点服务器中的至少一个节点服务器,启动选取的节点服务器从数据源服务器下载源文件。
在一个实施例中,调度管理服务器可选取分别属于多个IDC的多个节点服务器。
在一个实施例中,调度管理服务器可获取各IDC的需要下载源文件的节点服务器的第一数量和/或内网传输带宽,根据第一数量和/或内网传输带宽获取各IDC需从数据源服务器下载源文件的节点服务器的第二数量,从各IDC需要下载源文件的节点服务器中选取各IDC对应的第二数量的节点服务器。
具体的,在一个实施例中,可预先存储IDC的从数据源服务器下载源文件的节点服务器数量与IDC的需要下载源文件的节点服务器总数量的比值。根据该比值以及IDC的需要下载源文件的节点服务器的数量计算第一数量。例如,上述比值为1:10,若某一IDC的需要下载源文件的节点服务器为1000台,则该IDC对应的第二数量(即需要从数据源服务器下载源文件的节点服务器的数量)为100台。
在一个实施例中,可预先划分IDC的内网传输带宽区间段,并设置区间段与上述比值的对应关系。例如,若内网传输带宽属于[a,b),其中a<b,可设置IDC对应的第二数量与IDC的需要下载源文件的节点服务器总数量的比值为1:10。若内网传输带宽属于[b,c),其中b<c,可设置上述比值为1:100。依次类推,随着内网传输带宽的增大,可减小上述比值。
调度管理服务器获取到IDC的内网传输带宽后,可查找内网传输带宽所属的区间段,并查找该区间段对应的比值,根据比值计算该IDC对应的第二数量。
进一步的,获取到第二数量后,调度管理服务器可从IDC的需要下载源文件的节点服务器中选取第二数量个节点服务器,并向选取的节点服务器发送数据源服务器的IP地址和需下载的源文件的标识,以启动选取的节点服务器向数据源服务器下载源文件。
步骤S30,下载管理服务器存储已下载源文件的节点服务器的标识。
在一个实施例中,节点服务器的标识由节点服务器所属的IDC标识以及节点服务器在IDC的内网IP组成。
具体的,节点服务器在下载源文件之后,可将该节点服务器的标识以及已下载的源文件的标识发送至下载管理服务器,下载管理服务器可保存节点服务器的标识与节点服务器已下载的源文件的标识的对应关系。
步骤S40,网络数据中心的未下载源文件的节点服务器向下载管理服务器查询已下载源文件的节点服务器的标识。
在一个实施例中,在步骤S20之后,调度管理服务器可以启动网络数据中心的未下载源文件的节点服务器向下载管理服务器查询已下载源文件的节点服务器。
具体的,调度管理服务器可发送源文件的标识至IDC的未下载源文件的节点服务器,节点服务器接收到源文件的标识后,可将本节点服务器的标识以及源文件的标识封装于查询请求中,将查询请求发送给下载管理服务器,以向下载管理服务器查询已下载源文件的节点服务器。
进一步的,下载管理服务器可向发起查询的节点服务器返回已下载源文件的节点服务器的标识。
具体的,下载管理服务器接收到发起查询的节点服务器发送的源文件的标识后,可在存储的节点服务器标识与节点服务器下载的源文件的标识的对应关系中查找节点服务器发送的源文件的标识对应的节点服务器标识,选取其中的至少一个节点服务器标识,将选取的节点服务器标识返回至发起查询的节点服务器。
步骤S60,未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从对应的节点服务器下载源文件。
上述网络数据中心的数据分发方法,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。而且,不只是从唯一的数据源服务器下载源文件,可避免数据源服务器发生错误时源文件不能再继续分发的问题,从而提高容错性。
在一个实施例中,上述网络数据中心的数据分发方法,在步骤S30之前,还包括以下步骤:节点服务器在下载源文件之后,获取源文件的标识所属的区间段,将节点服务器的标识以及已下载的源文件的标识发送到所属的区间段对应的下载管理服务器。
具体的,在一个实施例中,源文件的标识为源文件的Hash标识。在一个实施例中,可预先划分源文件的标识的区间段,并设置源文件的标识区间段与下载管理服务器的对应关系。例如,可设置[a,b)对应第一下载管理服务器,[b,c)对应第一下载管理服务器,其中a<b<c,等等,依次类推。当源文件的标识属于[a,b)时,可将节点服务器标识以及源文件的标识发送到第一下载管理服务器,当源文件的Hash标识属于[b,c)时,可将节点服务器标识以及源文件的标识发送到第二下载管理服务器。
如图3所示,本实施例中,步骤S40的具体过程包括以下步骤:
步骤S402,网络数据中心的未下载源文件的节点服务器获取源文件的标识所属的区间段。
步骤S404,向所属的区间段对应的下载管理服务器查询已下载源文件的节点服务器。
具体的,节点服务器可将本节点服务器的标识以及源文件的标识封装于查询请求中,将查询请求发送给对应的下载管理服务器。
本实施例中,下载管理服务器按照源文件的标识所属的区间段管理各源文件下载的情况,不同下载管理服务器管理标识属于不同区间段的源文件的下载情况,可提高节点服务器查询到已下载源文件的节点服务器的速度,从而可提高节点服务器从已经下载源文件的节点服务器下载源文件的速度。
在一个实施例中,在步骤S40之后,上述网络数据中心的数据分发方法还包括步骤:下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识。
如图4所示,在一个实施例中,下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的具体过程包括以下步骤:
步骤S502,下载管理服务器查找已下载源文件的节点服务器。
具体的,节点服务器向下载管理服务器查询已下载源文件的节点服务器时,可向下载管理服务器发送包含本节点服务器的标识以及源文件的标识的查询请求,下载管理服务器可在存储的节点服务器的标识与节点服务器下载的源文件的标识的对应关系中,查找发起查询的节点服务器发送的源文件的标识对应的节点服务器的标识。
步骤S504,选取查找到的节点服务器中与发起查询的节点服务器属于同一个网络数据中心的节点服务器。
在一个实施例中,节点服务器标识由节点服务器所属的IDC标识以及节点服务器在IDC的内网IP组成。
具体的,可将步骤S502查找到的节点服务器的标识包含的IDC标识与发起查询的节点服务器的标识包含的IDC标识进行匹配,若相同,则两节点服务器属于同一IDC。
在一个实施例中,若在已下载源文件的节点服务器中未选取到与发起查询的节点服务器属于同一IDC的节点服务器,则可在已下载源文件的节点服务器中选取与发起查询的节点服务器不属于同一IDC的节点服务器。
步骤S506,向发起查询的节点服务器返回选取的节点服务器的标识。
本实施例中,将已经下载了源文件且属于同一IDC的节点服务器返回给发起查询的节点服务器,节点服务器从返回的节点服务器下载源文件,从而使得未下载源文件的节点服务器从属于同一IDC的已下载了源文件的节点服务器下载源文件,因此,可节省IDC之间的专线带宽。
在一个实施例中,上述网络数据中心的数据分发方法还包括以下步骤:下载管理服务器获取并保存节点服务器当前维持的下载连接的数量。
具体的,在一个实施例中,在发起查询的节点服务器与下载管理服务器返回的标识对应的节点服务器建立下载连接之后,可将建立下载连接的两端节点服务器标识发送给下载管理服务器,而且,当源文件下载完毕后,可断开下载连接,并将断开下载连接的两端节点服务器的标识发送给下载管理服务器,下载管理服务器可统计各节点服务器当前所维持的下载连接的数量,当接收到建立下载连接的两端节点服务器标识时,可增加对应节点服务器当前所维持的下载连接数量,相反的,当接收到断开下载连接的两端节点服务器标识时,可减少对应节点服务器当前所维持的下载连接数量。
如图5所示,在一个实施例中,下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的具体过程包括以下步骤:
步骤S520,下载管理服务器查找已下载源文件的节点服务器。
步骤S540,选取查找到的节点服务器中下载连接数量最少的节点服务器。
步骤S560,向发起查询的节点服务器返回选取的节点服务器的标识。
本实施例中,发起查询的节点服务器从已经下载了源文件且维持的下载连接数量最少的节点服务器下载源文件,可提高下载速度。
在一个实施例中,上述网络数据中心的数据分发方法还包括以下步骤:
分发统计服务器统计建立下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
具体的,在一个实施例中,在未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接之后,可将建立下载连接的两端节点服务器的标识发送给分发统计服务器。而且,当源文件下载完毕后,可将下载时长发送给分发统计服务器。分发统计服务器可根据下载连接的两端节点服务器的标识以及下载时长统计出相关的下载结果报表。调度管理服务器可查询并展示分发统计服务器统计出的下载结果报表。
如图6所示,在一个实施例中,一种网络数据中心的数据分发系统,包括网络数据中心100中的多个节点服务器10、与各网络数据中心100中的节点服务器10进行交互的数据源服务器20和下载管理服务器30,节点服务器10包括第一节点服务器102和第二节点服务器104,其中:
数据源服务器20用于存储和分发源文件。
下载管理服务器30用于存储已下载所述源文件的节点服务器的标识。
第一节点服务器102用于从数据源服务器20下载源文件。
第一节点服务器102可包括分别属于不同的IDC的多个节点服务器。
下载管理服务器30用于存储已下载源文件的节点服务器10的标识。
第二节点服务器104用于向下载管理服务器30查询已下载源文件的节点服务器10的标识。
第二节点服务器104还用于与查询得到的节点服务器10建立下载连接,从查询得到的节点服务器10下载源文件。
在一个实施例中,数据源服务器20和下载管理服务器30都可包含于某一个IDC中,都可为某一个IDC中的服务器。
上述网络数据中心的数据分发系统,网络数据中心100的部分节点服务器(即第一节点服务器102)从数据源服务器20下载源文件,其它节点服务器(即第二节点服务器104)从已下载源文件的本机外的节点服务器(第一节点服务器102或第二节点服务器104)下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。而且,不只是从唯一的数据源服务器下载源文件,可避免数据源服务器发生错误时源文件不能再继续分发的问题,从而提高容错性。
在一个实施例中,第一节点服务器102和第二节点服务器104还用于在下载源文件之后,获取源文件的标识所属的区间段,将本机的标识以及源文件的标识发送到所属区间段对应的下载管理服务器30。
第二节点服务器104还用于获取源文件的标识所属的区间段,向所属的区间段对应的下载管理服务器30查询已下载源文件的节点服务器10(包括第一节点服务器102和第二节点服务器104)的标识。
本实施例中,下载管理服务器30按照源文件的标识所属的区间段管理节点服务器下载源文件的情况,不同下载管理服务器管理标识属于不同区间段的源文件的下载情况,可并行处理多个节点服务器的查询请求,提高节点服务器获取到已下载源文件的节点服务器的速度,从而可提高节点服务器从已经下载源文件的节点服务器下载源文件的速度。
在一个实施例中,下载管理服务器30还用于在第二节点服务器14向下载管理服务器30查询已下载源文件的节点服务器10的标识之后,查找已下载源文件的节点服务器10(第一节点服务器102和第二节点服务器104),选取查找到的节点服务器10中与发起查询的第二节点服务器104属于同一个网络数据中心100的节点服务器10(与发起查询的第二节点服务器104属于同一个网络数据中心100的第一节点服务器102或第二节点服务器104),向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
本实施例中,将已经下载了源文件且属于同一IDC的节点服务器10返回给发起查询的第二节点服务器104,第二节点服务器104从返回的节点服务器10下载源文件,从而使得未下载源文件的第二节点服务器104从属于同一IDC的已下载了源文件的节点服务器10(第一节点服务器12或第二节点服务器14)下载源文件,因此,可节省IDC之间的专线带宽。
在一个实施例中,下载管理服务器30还用于获取并保存节点服务器10(第一节点服务器102和第二节点服务器104)当前维持的下载连接的数量。
下载管理服务器30还用于在第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10的标识之后,查找已下载源文件的节点服务器10(第一节点服务器102和第二节点服务器104),选取查找到的节点服务器10中下载连接数量最少的节点服务器10(第一节点服务器102或第二节点服务器104),向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
本实施例中,发起查询的第二节点服务器104从已经下载了源文件且维持的下载连接数量最少的节点服务器10下载源文件,可提高下载速度。
如图7所示,在一个实施例中,上述网络数据中心的数据分发系统,还包括节点信息管理服务器40和调度管理服务器50,其中:
节点信息管理服务器40用于获取并存储第一节点服务器102和第二节点服务器104上报的本机安装的软件的标识和版本信息。
调度管理服务器50用于根据节点信息管理服务器40存储的节点服务器10安装的软件的标识和版本信息获取需要下载源文件的节点服务器10。
调度管理服务器50还用于选取需要下载源文件的节点服务器中10的至少一个节点服务器10为第一节点服务器102,启动第一节点服务器102从数据源服务器20下载源文件。
在一个实施例中,调度管理服务器50可选取分别属于不同IDC的多个节点服务器10为第一节点服务器102
调度管理服务器50还用于在第一节点服务器102从数据源服务器20下载源文件之后,选取需要下载源文件的节点服务器10中的第一节点服务器102以外的节点服务器10为第二节点服务器104,启动第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10。
具体的,在一个实施例中,调度管理服务器50还用于获取各网络数据中心100的需要下载源文件的节点服务器10的第一数量和/或内网传输带宽,根据第一数量和/或内网传输带宽获取各网络数据中心100需从数据源服务器20下载源文件的节点服务器10的第二数量,从各网络数据中心100需要下载源文件的节点服务器10中选取各网络数据中心对应的第二数量的节点服务器10为第一节点服务器102。
在一个实施例中,节点信息管理服务器40和调度管理服务器50都可包含于某一个IDC中,为某一个IDC中的服务器。
在一个实施例中,上述网络数据中心的数据分发系统还包括查询接入服务器(图中未示出),一个查询接入服务器与多个节点服务器10连接,查询接入服务器与下载管理服务器30连接。
第一节点服务器102和第二节点服务器104还用于在下载源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器。
查询接入服务器用于接收第一节点服务器102和第二节点服务器104的标识以及对应的已下载的源文件的标识,获取已下载的源文件的标识所属的区间段,将第一节点服务器102和第二节点服务器104的标识以及对应的已下载的源文件的标识发送到所属的区间段对应的下载管理服务器30。
第二节点服务器104还用于将包含第二节点服务器104的标识以及需下载的源文件的标识的查询请求发送至与第二节点服务器104连接的查询接入服务器。
查询接入服务器还用于接收第二节点服务器104发送的查询请求,获取查询请求中包含的源文件的标识所属的区间段,将查询请求发送给所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于通过查询接入服务器向发起查询的第二节点服务器返回已下载源文件的节点服务器10的标识。
具体的,下载管理服务器可向发起查询的查询接入服务器返回已下载源文件的节点服务器10的标识,查询接入服务器还用于将接收到的已下载源文件的节点服务器10的标识返回给对应的第二节点服务器104。
如图8所示,在一个实施例中,一种网络数据中心的数据分发系统,包括网络数据中心100中的多个节点服务器10、数据源服务器20、下载管理服务器30、节点信息管理服务器40、调度管理服务器50和查询接入服务器60,其中:
网络数据中心100内的节点服务器10通信连接,网络数据中心100之间通过专线连接;一个查询接入服务60与多个节点服务器10连接,查询接入服务器60与下载管理服务器30连接。
具体的,数据源服务器20、下载管理服务器30、节点信息管理服务器40、调度管理服务器50和查询接入服务器60,可包含于某一个IDC,为该IDC中的存储了源文件的服务器。
节点信息管理服务器40用于获取并存储节点服务器10上报的本机安装的软件的标识和版本信息。
数据源服务器20用于存储和分发源文件。
下载管理服务器30用于存储已下载源文件的节点服务器的标识。
节点服务器10用于获取本机安装的软件的标识和版本信息,上报到节点信息管理服务器40。
调度管理服务器50用于根据节点信息管理服务器40存储的节点服务器10安装的软件的标识和版本信息获取需要下载源文件的节点服务器10。
节点服务器10包括第一节点服务器102和第二节点服务器104。
调度管理服务器50用于选取需要下载源文件的节点服务器10中的至少一个节点服务器10为第一节点服务器102,启动第一节点服务器102从数据源服务器20下载源文件。
第一节点服务器102用于在接收到调度管理服务器50的启动指令后,从数据源服务器20下载源文件。
调度管理服务器50还用于选取需要下载源文件的节点服务器10中第一节点服务器102以外的节点服务器10为第二节点服务器104,启动第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10。
第二节点服务器104用于在接收到调度管理服务器50的启动指令后,将包含第二节点服务器104的标识以及源文件的标识的查询请求发送至与第二节点服务器104连接的查询接入服务器60。
查询接入服务器60还用于接收第二节点服务器104发送的查询请求,获取查询请求中包含的源文件的标识所属的区间段,将查询请求发送到所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于获取并保存节点服务器10当前维持的下载连接的数量。
下载管理服务器30还用于接收到查询请求后,查找已下载源文件的节点服务器10,选取查找到的节点服务器10中与发起查询的第二节点服务器104属于同一个网络数据中心且下载连接数量最少的节点服务器10,通过查询接入服务器60向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
第二节点服务器104还用于与返回的标识对应的节点服务器10建立下载连接,从对应的节点服务器10下载源文件。
第一节点服务器102和第二节点服务器104还用于在下载源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器60。
查询接入服务器60用于接收节点服务器10(包括第一节点服务器102和第二节点服务器104)的标识以及对应的已下载的源文件的标识,获取已下载的源文件的标识所属的区间段,将节点服务器10的标识以及对应的已下载的源文件的标识发送到所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于将节点服务器10的标识和标识对应的已下载的源文件的标识对应存储。
在一个实施例中,上述网络数据中心的数据分发系统还包括:分发统计服务器(图中未示出),用于获取建立下载链接的两端节点服务器的标识以及下载连接的下载时长,统计建立下载链接的两端节点服务器的标识以及下载时长获取相关的下载结果报表。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序控制相关的硬件来完成的,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种网络数据中心的数据分发方法,包括以下步骤:
网络数据中心的至少一个节点服务器从数据源服务器下载源文件;
下载管理服务器存储已下载所述源文件的节点服务器的标识;
网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从所述已下载源文件的节点服务器下载所述源文件。
2.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括以下步骤:
节点服务器在下载所述源文件之后,获取所述源文件的标识所属的区间段,将节点服务器的标识以及所述源文件的标识发送到所述区间段对应的下载管理服务器;
所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤包括:
网络数据中心的未下载源文件的节点服务器获取源文件的标识所属的区间段,向所属的区间段对应的下载管理服务器查询已下载所述源文件的节点服务器的标识。
3.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,在所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤之后,所述方法还包括:
下载管理服务器查找已下载所述源文件的节点服务器,选取查找到的节点服务器中与所述发起查询的节点服务器属于同一个网络数据中心的节点服务器,向所述发起查询的节点服务器返回选取的节点服务器的标识。
4.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括:
下载管理服务器获取并保存节点服务器当前维持的所述下载连接的数量;
在所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤之后,所述方法还包括:
下载管理服务器查找已下载所述源文件的节点服务器,选取查找到的节点服务器中所述下载连接数量最少的节点服务器,向所述发起查询的节点服务器返回选取的节点服务器的标识。
5.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,在所述网络数据中心的至少一个节点服务器从数据源服务器下载源文件的步骤之前,所述方法还包括:
节点信息管理服务器获取节点服务器上报的本机安装的软件标识和版本信息;
调度管理服务器根据所述软件标识和版本信息获取需要下载所述源文件的节点服务器;
调度管理服务器选取所述需要下载所述源文件的节点服务器中的至少一个节点服务器,启动选取的节点服务器从数据源服务器下载源文件。
6.根据权利要求5所述的网络数据中心的数据分发方法,其特征在于,所述调度管理服务器选取所述需要下载所述源文件的节点服务器中的至少一个节点服务器的步骤包括:
调度管理服务器获取各网络数据中心的需要下载所述源文件的节点服务器的第一数量和/或内网传输带宽,根据所述第一数量和/或内网传输带宽获取各网络数据中心需从数据源服务器下载所述源文件的节点服务器的第二数量,从各网络数据中心需要下载所述源文件的节点服务器中选取各网络数据中心对应的所述第二数量的节点服务器。
7.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括以下步骤:
分发统计服务器统计建立所述下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
8.一种网络数据中心的数据分发系统,其特征在于,包括网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器,所述节点服务器包括第一节点服务器和第二节点服务器,
其中:
数据源服务器用于存储和分发源文件;所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识;
第一节点服务器用于从所述数据源服务器下载所述源文件;
所述第二节点服务器用于向所述下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述第二节点服务器还用于与查询得到的节点服务器建立下载连接,从查询得到的节点服务器下载所述源文件。
9.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述第一节点服务器和第二节点服务器还用于在下载所述源文件之后,获取所述源文件的标识所属的区间段,将本机的标识以及所述源文件的标识发送到所述区间段对应的下载管理服务器;
所述第二节点服务器还用于获取所述源文件的标识所属的区间段,向所述区间段对应的下载管理服务器查询已下载所述源文件的节点服务器的标识。
10.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述下载管理服务器还用于查找已下载所述源文件的节点服务器,选取查找到的节点服务器中与所述发起查询的第二节点服务器属于同一个网络数据中心的节点服务器,向所述发起查询的第二节点服务器返回选取的节点服务器的标识。
11.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述下载管理服务器还用于获取并保存节点服务器当前维持的所述下载连接的数量;
所述下载管理服务器还用于查找已下载所述源文件的节点服务器,选取查找到的节点服务器中所述下载连接数量最少的节点服务器,向所述发起查询的第二节点服务器返回选取的节点服务器的标识。
12.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括:
节点信息管理服务器,用于获取并存储所述第一节点服务器和第二节点服务器上报的本机安装的软件的标识和版本信息;
调度管理服务器,用于根据所述软件的标识和版本信息获取需要下载所述源文件的节点服务器;
所述调度管理服务器还用于选取所述需要下载所述源文件的节点服务器中的至少一个节点服务器为第一节点服务器,启动第一节点服务器从数据源服务器下载所述源文件。
13.根据权利要求12所述的网络数据中心的数据分发系统,其特征在于,所述调度管理服务器还用于获取各网络数据中心的需要下载所述源文件的节点服务器的第一数量和/或内网传输带宽,根据所述第一数量和/或内网传输带宽获取各网络数据中心需从数据源服务器下载所述源文件的节点服务器的第二数量,从各网络数据中心需要下载所述源文件的节点服务器中选取各网络数据中心对应的所述第二数量的节点服务器为第一节点服务器。
14.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括:
分发统计服务器,用于统计建立所述下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
15.根据权利要求8所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括查询接入服务器,一个所述查询接入服务器与多个所述节点服务器连接,所述查询接入服务器与所述下载管理服务器连接;
所述第二节点服务器用于将包含所述第二节点服务器的标识以及需下载的源文件的标识的查询请求发送至与所述第二节点服务器连接的查询接入服务器;
所述第一节点服务器和第二节点服务器还用于在下载所述源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器;
所述查询接入服务器用于接收所述第一节点服务和第二节点服务器的标识以及对应的已下载的源文件的标识,获取所述已下载的源文件的标识所属的区间段,将接收的第一节点服务器和第二节点服务器的标识以及所述已下载的源文件的标识发送到所述区间段对应的下载管理服务器;
所述查询接入服务器还用于接收第二节点服务器发送的所述查询请求,获取所述查询请求中包含的源文件的标识所属的区间段,将查询请求发送给所述区间段对应的下载管理服务器;
所述下载管理服务器还用于通过所述查询接入服务器向发起查询的第二节点服务器返回已下载所述源文件的节点服务器的标识。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210302934.1A CN103634346B (zh) | 2012-08-23 | 2012-08-23 | 网络数据中心的数据分发方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210302934.1A CN103634346B (zh) | 2012-08-23 | 2012-08-23 | 网络数据中心的数据分发方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103634346A true CN103634346A (zh) | 2014-03-12 |
CN103634346B CN103634346B (zh) | 2018-05-22 |
Family
ID=50214971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210302934.1A Active CN103634346B (zh) | 2012-08-23 | 2012-08-23 | 网络数据中心的数据分发方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103634346B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104410675A (zh) * | 2014-11-12 | 2015-03-11 | 北京奇虎科技有限公司 | 数据传输方法、数据系统及相关装置 |
CN105577797A (zh) * | 2015-12-25 | 2016-05-11 | 北京像素软件科技股份有限公司 | 一种跨服务器数据互通的系统和方法 |
CN105657063A (zh) * | 2016-03-23 | 2016-06-08 | 北京百度网讯科技有限公司 | 数据下载方法和装置 |
WO2017024805A1 (zh) * | 2015-08-12 | 2017-02-16 | 腾讯科技(深圳)有限公司 | 一种文件分发方法、装置和系统 |
CN108337277A (zh) * | 2017-01-19 | 2018-07-27 | 贵州白山云科技有限公司 | 一种下载更新文件的方法和系统 |
CN108337276A (zh) * | 2017-01-19 | 2018-07-27 | 贵州白山云科技有限公司 | 一种文件分发方法和系统 |
CN108650323A (zh) * | 2018-05-17 | 2018-10-12 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN110351282A (zh) * | 2019-07-15 | 2019-10-18 | 深圳市网心科技有限公司 | 资源下载方法、电子设备、系统及介质 |
CN110493358A (zh) * | 2019-09-16 | 2019-11-22 | 世纪海航(厦门)科技有限公司 | 一种基于自组网技术的文件传输方法、装置及服务器 |
CN112671879A (zh) * | 2020-12-18 | 2021-04-16 | 北京浪潮数据技术有限公司 | 一种组件部署方法、系统及计算机可读存储介质 |
CN113778673A (zh) * | 2021-08-27 | 2021-12-10 | 深圳市广和通无线股份有限公司 | 数据处理方法、存储介质及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351775B1 (en) * | 1997-05-30 | 2002-02-26 | International Business Machines Corporation | Loading balancing across servers in a computer network |
CN101534204A (zh) * | 2008-03-10 | 2009-09-16 | 中国网通集团宽带业务应用国家工程实验室有限公司 | 流媒体信息分发系统和方法及客户端 |
CN101562804A (zh) * | 2009-05-12 | 2009-10-21 | 中兴通讯股份有限公司 | 一种基于移动p2p的区域管理服务器系统及其调度方法 |
CN101729273A (zh) * | 2008-10-27 | 2010-06-09 | 中国移动通信集团公司 | 一种流媒体分发系统、方法及装置 |
CN101841558A (zh) * | 2010-03-23 | 2010-09-22 | 中国科学院计算技术研究所 | P2sp网络中资源的下载方法及系统 |
-
2012
- 2012-08-23 CN CN201210302934.1A patent/CN103634346B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351775B1 (en) * | 1997-05-30 | 2002-02-26 | International Business Machines Corporation | Loading balancing across servers in a computer network |
CN101534204A (zh) * | 2008-03-10 | 2009-09-16 | 中国网通集团宽带业务应用国家工程实验室有限公司 | 流媒体信息分发系统和方法及客户端 |
CN101729273A (zh) * | 2008-10-27 | 2010-06-09 | 中国移动通信集团公司 | 一种流媒体分发系统、方法及装置 |
CN101562804A (zh) * | 2009-05-12 | 2009-10-21 | 中兴通讯股份有限公司 | 一种基于移动p2p的区域管理服务器系统及其调度方法 |
CN101841558A (zh) * | 2010-03-23 | 2010-09-22 | 中国科学院计算技术研究所 | P2sp网络中资源的下载方法及系统 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104410675A (zh) * | 2014-11-12 | 2015-03-11 | 北京奇虎科技有限公司 | 数据传输方法、数据系统及相关装置 |
CN106453460B (zh) * | 2015-08-12 | 2021-01-08 | 腾讯科技(深圳)有限公司 | 一种文件分发方法、装置和系统 |
WO2017024805A1 (zh) * | 2015-08-12 | 2017-02-16 | 腾讯科技(深圳)有限公司 | 一种文件分发方法、装置和系统 |
CN106453460A (zh) * | 2015-08-12 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 一种文件分发方法、装置和系统 |
CN105577797A (zh) * | 2015-12-25 | 2016-05-11 | 北京像素软件科技股份有限公司 | 一种跨服务器数据互通的系统和方法 |
CN105657063B (zh) * | 2016-03-23 | 2019-06-18 | 北京百度网讯科技有限公司 | 数据下载方法和装置 |
CN105657063A (zh) * | 2016-03-23 | 2016-06-08 | 北京百度网讯科技有限公司 | 数据下载方法和装置 |
CN108337276A (zh) * | 2017-01-19 | 2018-07-27 | 贵州白山云科技有限公司 | 一种文件分发方法和系统 |
CN108337277A (zh) * | 2017-01-19 | 2018-07-27 | 贵州白山云科技有限公司 | 一种下载更新文件的方法和系统 |
CN108650323A (zh) * | 2018-05-17 | 2018-10-12 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN108650323B (zh) * | 2018-05-17 | 2021-01-22 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN110351282A (zh) * | 2019-07-15 | 2019-10-18 | 深圳市网心科技有限公司 | 资源下载方法、电子设备、系统及介质 |
CN110493358A (zh) * | 2019-09-16 | 2019-11-22 | 世纪海航(厦门)科技有限公司 | 一种基于自组网技术的文件传输方法、装置及服务器 |
CN110493358B (zh) * | 2019-09-16 | 2022-05-27 | 世纪海航(厦门)科技有限公司 | 一种基于自组网技术的文件传输方法、装置及服务器 |
CN112671879A (zh) * | 2020-12-18 | 2021-04-16 | 北京浪潮数据技术有限公司 | 一种组件部署方法、系统及计算机可读存储介质 |
CN113778673A (zh) * | 2021-08-27 | 2021-12-10 | 深圳市广和通无线股份有限公司 | 数据处理方法、存储介质及设备 |
CN113778673B (zh) * | 2021-08-27 | 2024-02-09 | 深圳市广和通无线股份有限公司 | 数据处理方法、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103634346B (zh) | 2018-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103634346A (zh) | 网络数据中心的数据分发方法和系统 | |
CN101442566B (zh) | 实现动态域名更新的方法和设备 | |
CN110138606B (zh) | 容器网络配置方法及系统 | |
CN103281409B (zh) | 基于tcp协议的移动互联网域名解析方法及dns服务器 | |
CN107105050B (zh) | 一种业务对象的存储、下载方法及系统 | |
CN101841409B (zh) | 实现dns区创建同步的方法、服务器以及域名系统 | |
CN103259837A (zh) | 路侧单元接入方法、系统及装置 | |
CN103747112A (zh) | 一种cdn回源的方法、第一服务器及系统 | |
CN103916373A (zh) | 数据更新的方法、服务器、客户端以及系统 | |
CN101355590B (zh) | 下载提示方法、系统及装置 | |
CN105120508A (zh) | 一种ap自动获取上线位置的方法及系统 | |
CN104580085A (zh) | 业务数据更新方法、系统、客户端及服务器 | |
CN102904977B (zh) | 网络地址分配方法、服务器和节点 | |
CN103326887B (zh) | 一种接口管理方法及系统 | |
CN110727738B (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
CN102546261B (zh) | 网元升级的方法、网元、服务器及系统 | |
CN105592162A (zh) | 基于多类型文件的上传方法及系统 | |
CN104486379A (zh) | 一种参数更新方法及相关设备、系统 | |
CN101925158A (zh) | 号码详情的获取系统及方法 | |
CN106534390B (zh) | 权威域名系统服务器数据的存储和管理方法及系统 | |
CN105243078A (zh) | 一种文件资源的分发方法、系统和装置 | |
CN102419832A (zh) | 一种分布式环境下资源定位方法及其系统 | |
CN101626543B (zh) | 提供p2p业务的方法及p2p增值业务平台 | |
CN105657014A (zh) | 一种负载均衡方法、系统及装置 | |
CN105635280A (zh) | 提升消息推送效率的方法、装置及推送服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180927 Address after: 100089 Beijing Haidian District Zhichun Road 49 No. 3 West 309 Patentee after: Tencent cloud computing (Beijing) limited liability company Address before: 518044 East 403 room, Sai Ge science and Technology Park, Futian District Zhenxing Road, Shenzhen, Guangdong, China, 2 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |