CN103634346B - 网络数据中心的数据分发方法和系统 - Google Patents

网络数据中心的数据分发方法和系统 Download PDF

Info

Publication number
CN103634346B
CN103634346B CN201210302934.1A CN201210302934A CN103634346B CN 103634346 B CN103634346 B CN 103634346B CN 201210302934 A CN201210302934 A CN 201210302934A CN 103634346 B CN103634346 B CN 103634346B
Authority
CN
China
Prior art keywords
server
source file
node
node server
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210302934.1A
Other languages
English (en)
Other versions
CN103634346A (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210302934.1A priority Critical patent/CN103634346B/zh
Publication of CN103634346A publication Critical patent/CN103634346A/zh
Application granted granted Critical
Publication of CN103634346B publication Critical patent/CN103634346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种网络数据中心的数据分发方法,包括以下步骤:网络数据中心的至少一个节点服务器从数据源服务器下载源文件;下载管理服务器存储已下载所述源文件的节点服务器的标识;网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从所述已下载源文件的节点服务器下载所述源文件。上述方法,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。

Description

网络数据中心的数据分发方法和系统
【技术领域】
本发明涉及网络技术,特别地涉及一种网络数据中心的数据分发方法和系统。
【背景技术】
网络数据中心(Internet Data Center,IDC)是基于Internet网络的、包含多台服务器的网络基地。每台服务器都是IDC的用于集中式收集、存储、处理和发送数据的节点,因此服务器也可称作为节点服务器。IDC的节点服务器之间相互连接形成局域网。
随着互联网的快速发展,互联网公司的业务也发展迅速,用于支撑业务的IDC的服务器的数量更是日趋庞大,一个IDC部署的服务器有的多达几万台甚至几十万台。为了满足业务扩展的需求以及考虑到地域分布的因素,往往在不同区域部署多个IDC支撑业务。不同的IDC之间一般通过专用线路(专线)通信连接,构成一个巨大的服务器网络。采用专线进行通信连接使得不同IDC之间的通信速度非常快,然而专线的带宽成本非常昂贵。
IDC中的节点服务器通常需要安装相同的系统软件或应用软件以支撑同一业务。因此,需要在多个IDC的多个节点服务器之间分发同一文件。
传统网络数据中心的分发数据的方法,一般将某一个IDC中的某一台服务器作为数据源服务器,在数据源服务器上部署源文件,由其它节点服务器(包括该IDC的其它节点服务器以及其它IDC的节点服务器)从数据源服务器下载源文件。由于不同IDC的节点服务器之间的通信需要占用连接IDC的专线带宽,而很多IDC的节点服务器数量比较大,且系统软件或应用软件的更新频率又比较快,因而传统的方法在多个IDC之间分发数据时需要占用大量的专线带宽。
另外,在传统的方法中,数据源服务器一旦发生错误,即可能导致还未下载源文件的节点服务器不能再下载源文件,因此,传统的方法容错率较低。
【发明内容】
基于此,有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的方法。
一种网络数据中心的数据分发方法,包括以下步骤:
网络数据中心的至少一个节点服务器从数据源服务器下载源文件;
下载管理服务器存储已下载所述源文件的节点服务器的标识;
网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从所述已下载源文件的节点服务器下载所述源文件。
基于此,有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的系统。
一种网络数据中心的数据分发系统,包括网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器,所述节点服务器包括第一节点服务器和第二节点服务器,其中:
数据源服务器用于存储和分发源文件;所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识;
第一节点服务器用于从所述数据源服务器下载所述源文件;
所述第二节点服务器用于向所述下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述第二节点服务器还用于与查询得到的节点服务器建立下载连接,从查询得到的节点服务器下载所述源文件。
上述网络数据中心的数据分发方法和系统,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。
【附图说明】
图1为一个实施例中的网络数据中心的数据分发方法的流程示意图;
图2为一个实施例中启动节点服务器下载源文件的步骤的流程示意图;
图3为一个实施例中图1的步骤S40的流程示意图;
图4为一个实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图;
图5为另一实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图;
图6为一个实施例中的网络数据中心的数据分发系统的结构示意图;
图7为另一实施例中的网络数据中心的数据分发系统的结构示意图;
图8为又一实施例中的网络数据中心的数据分发系统的结构示意图。
【具体实施方式】
如图1所示,在一个实施例中,一种网络数据中心的数据分发方法,包括以下步骤:
步骤S20,网络数据中心的至少一个节点服务器从数据源服务器下载源文件。
在一个实施例中,从数据源服务器下载源文件的节点服务器可以是分别属于不同的IDC的多个节点服务器。节点服务器下载了源文件之后,可供还未下载源文件的其他节点服务器(包括属于相同IDC的其他节点服务器和属于不同IDC的其它节点服务器)下载源文件。具体的,数据源服务器可包含于某一个IDC,为该IDC中的一台存储了源文件的服务器。
在一个实施例中,在步骤S20之前,可上传源文件至数据源服务器。
在一个实施例中,在步骤S20之前,上述网络数据中心的数据分发方法还包括以下步骤:节点服务器获取本机安装的软件的标识和版本信息,上报到节点信息管理服务器;节点信息管理服务器获取并保存节点服务器上报的本机安装的软件标识和版本信息。
具体的,节点信息管理服务器获取到节点服务器上报的软件的标识和版本信息后,可存储节点服务器的标识与安装的软件的标识和版本信息的对应关系。
如图2所示,在步骤S20之前,上述网络数据中心的数据分发方法还包括启动节点服务器下载源文件的步骤,具体过程包括:
步骤S102,调度管理服务器根据节点信息管理服务器存储的节点服务器安装的软件的标识和版本信息获取需要下载源文件的节点服务器。
具体的,调度管理服务器可将节点服务器安装的软件的标识和版本信息与源文件的标识和版本信息进行比较,若节点服务器安装的软件不包括源文件或节点服务器安装的软件的版本比源文件的版本低,则判定该节点服务器为需要下载源文件的节点服务器。
步骤S104,调度管理服务器选取需要下载源文件的节点服务器中的至少一个节点服务器,启动选取的节点服务器从数据源服务器下载源文件。
在一个实施例中,调度管理服务器可选取分别属于多个IDC的多个节点服务器。
在一个实施例中,调度管理服务器可获取各IDC的需要下载源文件的节点服务器的第一数量和/或内网传输带宽,根据第一数量和/或内网传输带宽获取各IDC需从数据源服务器下载源文件的节点服务器的第二数量,从各IDC需要下载源文件的节点服务器中选取各IDC对应的第二数量的节点服务器。
具体的,在一个实施例中,可预先存储IDC的从数据源服务器下载源文件的节点服务器数量与IDC的需要下载源文件的节点服务器总数量的比值。根据该比值以及IDC的需要下载源文件的节点服务器的数量计算第一数量。例如,上述比值为1:10,若某一IDC的需要下载源文件的节点服务器为1000台,则该IDC对应的第二数量(即需要从数据源服务器下载源文件的节点服务器的数量)为100台。
在一个实施例中,可预先划分IDC的内网传输带宽区间段,并设置区间段与上述比值的对应关系。例如,若内网传输带宽属于[a,b),其中a<b,可设置IDC对应的第二数量与IDC的需要下载源文件的节点服务器总数量的比值为1:10。若内网传输带宽属于[b,c),其中b<c,可设置上述比值为1:100。依次类推,随着内网传输带宽的增大,可减小上述比值。
调度管理服务器获取到IDC的内网传输带宽后,可查找内网传输带宽所属的区间段,并查找该区间段对应的比值,根据比值计算该IDC对应的第二数量。
进一步的,获取到第二数量后,调度管理服务器可从IDC的需要下载源文件的节点服务器中选取第二数量个节点服务器,并向选取的节点服务器发送数据源服务器的IP地址和需下载的源文件的标识,以启动选取的节点服务器向数据源服务器下载源文件。
步骤S30,下载管理服务器存储已下载源文件的节点服务器的标识。
在一个实施例中,节点服务器的标识由节点服务器所属的IDC标识以及节点服务器在IDC的内网IP组成。
具体的,节点服务器在下载源文件之后,可将该节点服务器的标识以及已下载的源文件的标识发送至下载管理服务器,下载管理服务器可保存节点服务器的标识与节点服务器已下载的源文件的标识的对应关系。
步骤S40,网络数据中心的未下载源文件的节点服务器向下载管理服务器查询已下载源文件的节点服务器的标识。
在一个实施例中,在步骤S20之后,调度管理服务器可以启动网络数据中心的未下载源文件的节点服务器向下载管理服务器查询已下载源文件的节点服务器。
具体的,调度管理服务器可发送源文件的标识至IDC的未下载源文件的节点服务器,节点服务器接收到源文件的标识后,可将本节点服务器的标识以及源文件的标识封装于查询请求中,将查询请求发送给下载管理服务器,以向下载管理服务器查询已下载源文件的节点服务器。
进一步的,下载管理服务器可向发起查询的节点服务器返回已下载源文件的节点服务器的标识。
具体的,下载管理服务器接收到发起查询的节点服务器发送的源文件的标识后,可在存储的节点服务器标识与节点服务器下载的源文件的标识的对应关系中查找节点服务器发送的源文件的标识对应的节点服务器标识,选取其中的至少一个节点服务器标识,将选取的节点服务器标识返回至发起查询的节点服务器。
步骤S60,未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接,从对应的节点服务器下载源文件。
上述网络数据中心的数据分发方法,网络数据中心的部分节点服务器从数据源服务器下载源文件,其它节点服务器从已下载源文件的节点服务器下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。而且,不只是从唯一的数据源服务器下载源文件,可避免数据源服务器发生错误时源文件不能再继续分发的问题,从而提高容错性。
在一个实施例中,上述网络数据中心的数据分发方法,在步骤S30之前,还包括以下步骤:节点服务器在下载源文件之后,获取源文件的标识所属的区间段,将节点服务器的标识以及已下载的源文件的标识发送到所属的区间段对应的下载管理服务器。
具体的,在一个实施例中,源文件的标识为源文件的Hash标识。在一个实施例中,可预先划分源文件的标识的区间段,并设置源文件的标识区间段与下载管理服务器的对应关系。例如,可设置[a,b)对应第一下载管理服务器,[b,c)对应第一下载管理服务器,其中a<b<c,等等,依次类推。当源文件的标识属于[a,b)时,可将节点服务器标识以及源文件的标识发送到第一下载管理服务器,当源文件的Hash标识属于[b,c)时,可将节点服务器标识以及源文件的标识发送到第二下载管理服务器。
如图3所示,本实施例中,步骤S40的具体过程包括以下步骤:
步骤S402,网络数据中心的未下载源文件的节点服务器获取源文件的标识所属的区间段。
步骤S404,向所属的区间段对应的下载管理服务器查询已下载源文件的节点服务器。
具体的,节点服务器可将本节点服务器的标识以及源文件的标识封装于查询请求中,将查询请求发送给对应的下载管理服务器。
本实施例中,下载管理服务器按照源文件的标识所属的区间段管理各源文件下载的情况,不同下载管理服务器管理标识属于不同区间段的源文件的下载情况,可提高节点服务器查询到已下载源文件的节点服务器的速度,从而可提高节点服务器从已经下载源文件的节点服务器下载源文件的速度。
在一个实施例中,在步骤S40之后,上述网络数据中心的数据分发方法还包括步骤:下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识。
如图4所示,在一个实施例中,下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的具体过程包括以下步骤:
步骤S502,下载管理服务器查找已下载源文件的节点服务器。
具体的,节点服务器向下载管理服务器查询已下载源文件的节点服务器时,可向下载管理服务器发送包含本节点服务器的标识以及源文件的标识的查询请求,下载管理服务器可在存储的节点服务器的标识与节点服务器下载的源文件的标识的对应关系中,查找发起查询的节点服务器发送的源文件的标识对应的节点服务器的标识。
步骤S504,选取查找到的节点服务器中与发起查询的节点服务器属于同一个网络数据中心的节点服务器。
在一个实施例中,节点服务器标识由节点服务器所属的IDC标识以及节点服务器在IDC的内网IP组成。
具体的,可将步骤S502查找到的节点服务器的标识包含的IDC标识与发起查询的节点服务器的标识包含的IDC标识进行匹配,若相同,则两节点服务器属于同一IDC。
在一个实施例中,若在已下载源文件的节点服务器中未选取到与发起查询的节点服务器属于同一IDC的节点服务器,则可在已下载源文件的节点服务器中选取与发起查询的节点服务器不属于同一IDC的节点服务器。
步骤S506,向发起查询的节点服务器返回选取的节点服务器的标识。
本实施例中,将已经下载了源文件且属于同一IDC的节点服务器返回给发起查询的节点服务器,节点服务器从返回的节点服务器下载源文件,从而使得未下载源文件的节点服务器从属于同一IDC的已下载了源文件的节点服务器下载源文件,因此,可节省IDC之间的专线带宽。
在一个实施例中,上述网络数据中心的数据分发方法还包括以下步骤:下载管理服务器获取并保存节点服务器当前维持的下载连接的数量。
具体的,在一个实施例中,在发起查询的节点服务器与下载管理服务器返回的标识对应的节点服务器建立下载连接之后,可将建立下载连接的两端节点服务器标识发送给下载管理服务器,而且,当源文件下载完毕后,可断开下载连接,并将断开下载连接的两端节点服务器的标识发送给下载管理服务器,下载管理服务器可统计各节点服务器当前所维持的下载连接的数量,当接收到建立下载连接的两端节点服务器标识时,可增加对应节点服务器当前所维持的下载连接数量,相反的,当接收到断开下载连接的两端节点服务器标识时,可减少对应节点服务器当前所维持的下载连接数量。
如图5所示,在一个实施例中,下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的具体过程包括以下步骤:
步骤S520,下载管理服务器查找已下载源文件的节点服务器。
步骤S540,选取查找到的节点服务器中下载连接数量最少的节点服务器。
步骤S560,向发起查询的节点服务器返回选取的节点服务器的标识。
本实施例中,发起查询的节点服务器从已经下载了源文件且维持的下载连接数量最少的节点服务器下载源文件,可提高下载速度。
在一个实施例中,上述网络数据中心的数据分发方法还包括以下步骤:
分发统计服务器统计建立下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
具体的,在一个实施例中,在未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接之后,可将建立下载连接的两端节点服务器的标识发送给分发统计服务器。而且,当源文件下载完毕后,可将下载时长发送给分发统计服务器。分发统计服务器可根据下载连接的两端节点服务器的标识以及下载时长统计出相关的下载结果报表。调度管理服务器可查询并展示分发统计服务器统计出的下载结果报表。
如图6所示,在一个实施例中,一种网络数据中心的数据分发系统,包括网络数据中心100中的多个节点服务器10、与各网络数据中心100中的节点服务器10进行交互的数据源服务器20和下载管理服务器30,节点服务器10包括第一节点服务器102和第二节点服务器104,其中:
数据源服务器20用于存储和分发源文件。
下载管理服务器30用于存储已下载所述源文件的节点服务器的标识。
第一节点服务器102用于从数据源服务器20下载源文件。
第一节点服务器102可包括分别属于不同的IDC的多个节点服务器。
下载管理服务器30用于存储已下载源文件的节点服务器10的标识。
第二节点服务器104用于向下载管理服务器30查询已下载源文件的节点服务器10的标识。
第二节点服务器104还用于与查询得到的节点服务器10建立下载连接,从查询得到的节点服务器10下载源文件。
在一个实施例中,数据源服务器20和下载管理服务器30都可包含于某一个IDC中,都可为某一个IDC中的服务器。
上述网络数据中心的数据分发系统,网络数据中心100的部分节点服务器(即第一节点服务器102)从数据源服务器20下载源文件,其它节点服务器(即第二节点服务器104)从已下载源文件的本机外的节点服务器(第一节点服务器102或第二节点服务器104)下载源文件,不需要所有的节点服务器都从数据源服务器下载源文件,从而可减少占用网络数据中心之间的专线带宽。而且,不只是从唯一的数据源服务器下载源文件,可避免数据源服务器发生错误时源文件不能再继续分发的问题,从而提高容错性。
在一个实施例中,第一节点服务器102和第二节点服务器104还用于在下载源文件之后,获取源文件的标识所属的区间段,将本机的标识以及源文件的标识发送到所属区间段对应的下载管理服务器30。
第二节点服务器104还用于获取源文件的标识所属的区间段,向所属的区间段对应的下载管理服务器30查询已下载源文件的节点服务器10(包括第一节点服务器102和第二节点服务器104)的标识。
本实施例中,下载管理服务器30按照源文件的标识所属的区间段管理节点服务器下载源文件的情况,不同下载管理服务器管理标识属于不同区间段的源文件的下载情况,可并行处理多个节点服务器的查询请求,提高节点服务器获取到已下载源文件的节点服务器的速度,从而可提高节点服务器从已经下载源文件的节点服务器下载源文件的速度。
在一个实施例中,下载管理服务器30还用于在第二节点服务器14向下载管理服务器30查询已下载源文件的节点服务器10的标识之后,查找已下载源文件的节点服务器10(第一节点服务器102和第二节点服务器104),选取查找到的节点服务器10中与发起查询的第二节点服务器104属于同一个网络数据中心100的节点服务器10(与发起查询的第二节点服务器104属于同一个网络数据中心100的第一节点服务器102或第二节点服务器104),向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
本实施例中,将已经下载了源文件且属于同一IDC的节点服务器10返回给发起查询的第二节点服务器104,第二节点服务器104从返回的节点服务器10下载源文件,从而使得未下载源文件的第二节点服务器104从属于同一IDC的已下载了源文件的节点服务器10(第一节点服务器12或第二节点服务器14)下载源文件,因此,可节省IDC之间的专线带宽。
在一个实施例中,下载管理服务器30还用于获取并保存节点服务器10(第一节点服务器102和第二节点服务器104)当前维持的下载连接的数量。
下载管理服务器30还用于在第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10的标识之后,查找已下载源文件的节点服务器10(第一节点服务器102和第二节点服务器104),选取查找到的节点服务器10中下载连接数量最少的节点服务器10(第一节点服务器102或第二节点服务器104),向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
本实施例中,发起查询的第二节点服务器104从已经下载了源文件且维持的下载连接数量最少的节点服务器10下载源文件,可提高下载速度。
如图7所示,在一个实施例中,上述网络数据中心的数据分发系统,还包括节点信息管理服务器40和调度管理服务器50,其中:
节点信息管理服务器40用于获取并存储第一节点服务器102和第二节点服务器104上报的本机安装的软件的标识和版本信息。
调度管理服务器50用于根据节点信息管理服务器40存储的节点服务器10安装的软件的标识和版本信息获取需要下载源文件的节点服务器10。
调度管理服务器50还用于选取需要下载源文件的节点服务器中10的至少一个节点服务器10为第一节点服务器102,启动第一节点服务器102从数据源服务器20下载源文件。
在一个实施例中,调度管理服务器50可选取分别属于不同IDC的多个节点服务器10为第一节点服务器102
调度管理服务器50还用于在第一节点服务器102从数据源服务器20下载源文件之后,选取需要下载源文件的节点服务器10中的第一节点服务器102以外的节点服务器10为第二节点服务器104,启动第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10。
具体的,在一个实施例中,调度管理服务器50还用于获取各网络数据中心100的需要下载源文件的节点服务器10的第一数量和/或内网传输带宽,根据第一数量和/或内网传输带宽获取各网络数据中心100需从数据源服务器20下载源文件的节点服务器10的第二数量,从各网络数据中心100需要下载源文件的节点服务器10中选取各网络数据中心对应的第二数量的节点服务器10为第一节点服务器102。
在一个实施例中,节点信息管理服务器40和调度管理服务器50都可包含于某一个IDC中,为某一个IDC中的服务器。
在一个实施例中,上述网络数据中心的数据分发系统还包括查询接入服务器(图中未示出),一个查询接入服务器与多个节点服务器10连接,查询接入服务器与下载管理服务器30连接。
第一节点服务器102和第二节点服务器104还用于在下载源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器。
查询接入服务器用于接收第一节点服务器102和第二节点服务器104的标识以及对应的已下载的源文件的标识,获取已下载的源文件的标识所属的区间段,将第一节点服务器102和第二节点服务器104的标识以及对应的已下载的源文件的标识发送到所属的区间段对应的下载管理服务器30。
第二节点服务器104还用于将包含第二节点服务器104的标识以及需下载的源文件的标识的查询请求发送至与第二节点服务器104连接的查询接入服务器。
查询接入服务器还用于接收第二节点服务器104发送的查询请求,获取查询请求中包含的源文件的标识所属的区间段,将查询请求发送给所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于通过查询接入服务器向发起查询的第二节点服务器返回已下载源文件的节点服务器10的标识。
具体的,下载管理服务器可向发起查询的查询接入服务器返回已下载源文件的节点服务器10的标识,查询接入服务器还用于将接收到的已下载源文件的节点服务器10的标识返回给对应的第二节点服务器104。
如图8所示,在一个实施例中,一种网络数据中心的数据分发系统,包括网络数据中心100中的多个节点服务器10、数据源服务器20、下载管理服务器30、节点信息管理服务器40、调度管理服务器50和查询接入服务器60,其中:
网络数据中心100内的节点服务器10通信连接,网络数据中心100之间通过专线连接;一个查询接入服务60与多个节点服务器10连接,查询接入服务器60与下载管理服务器30连接。
具体的,数据源服务器20、下载管理服务器30、节点信息管理服务器40、调度管理服务器50和查询接入服务器60,可包含于某一个IDC,为该IDC中的存储了源文件的服务器。
节点信息管理服务器40用于获取并存储节点服务器10上报的本机安装的软件的标识和版本信息。
数据源服务器20用于存储和分发源文件。
下载管理服务器30用于存储已下载源文件的节点服务器的标识。
节点服务器10用于获取本机安装的软件的标识和版本信息,上报到节点信息管理服务器40。
调度管理服务器50用于根据节点信息管理服务器40存储的节点服务器10安装的软件的标识和版本信息获取需要下载源文件的节点服务器10。
节点服务器10包括第一节点服务器102和第二节点服务器104。
调度管理服务器50用于选取需要下载源文件的节点服务器10中的至少一个节点服务器10为第一节点服务器102,启动第一节点服务器102从数据源服务器20下载源文件。
第一节点服务器102用于在接收到调度管理服务器50的启动指令后,从数据源服务器20下载源文件。
调度管理服务器50还用于选取需要下载源文件的节点服务器10中第一节点服务器102以外的节点服务器10为第二节点服务器104,启动第二节点服务器104向下载管理服务器30查询已下载源文件的节点服务器10。
第二节点服务器104用于在接收到调度管理服务器50的启动指令后,将包含第二节点服务器104的标识以及源文件的标识的查询请求发送至与第二节点服务器104连接的查询接入服务器60。
查询接入服务器60还用于接收第二节点服务器104发送的查询请求,获取查询请求中包含的源文件的标识所属的区间段,将查询请求发送到所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于获取并保存节点服务器10当前维持的下载连接的数量。
下载管理服务器30还用于接收到查询请求后,查找已下载源文件的节点服务器10,选取查找到的节点服务器10中与发起查询的第二节点服务器104属于同一个网络数据中心且下载连接数量最少的节点服务器10,通过查询接入服务器60向发起查询的第二节点服务器104返回选取的节点服务器10的标识。
第二节点服务器104还用于与返回的标识对应的节点服务器10建立下载连接,从对应的节点服务器10下载源文件。
第一节点服务器102和第二节点服务器104还用于在下载源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器60。
查询接入服务器60用于接收节点服务器10(包括第一节点服务器102和第二节点服务器104)的标识以及对应的已下载的源文件的标识,获取已下载的源文件的标识所属的区间段,将节点服务器10的标识以及对应的已下载的源文件的标识发送到所属的区间段对应的下载管理服务器30。
下载管理服务器30还用于将节点服务器10的标识和标识对应的已下载的源文件的标识对应存储。
在一个实施例中,上述网络数据中心的数据分发系统还包括:分发统计服务器(图中未示出),用于获取建立下载链接的两端节点服务器的标识以及下载连接的下载时长,统计建立下载链接的两端节点服务器的标识以及下载时长获取相关的下载结果报表。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序控制相关的硬件来完成的,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种网络数据中心的数据分发方法,包括以下步骤:
上传源文件至数据源服务器;所述数据源服务器是网络数据中心的节点服务器;
属于不同的网络数据中心的多个节点服务器从所述数据源服务器下载源文件;其中,属于不同的网络数据中心的节点服务器之间通过专用线路通信;
下载管理服务器存储已下载所述源文件的节点服务器的标识;
网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述下载管理服务器查找已下载所述源文件的节点服务器,选取查找到的节点服务器中与所述发起查询的节点服务器属于同一个网络数据中心的节点服务器,向所述发起查询的节点服务器返回选取的节点服务器的标识;
所述未下载所述源文件的节点服务器与查询得到的已下载所述源文件的节点服务器建立下载连接,从所述查询得到的已下载所述源文件的节点服务器下载所述源文件。
2.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括以下步骤:
节点服务器在下载所述源文件之后,获取所述源文件的标识所属的区间段,将节点服务器的标识以及所述源文件的标识发送到所述区间段对应的下载管理服务器;
所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤包括:
网络数据中心的未下载源文件的节点服务器获取源文件的标识所属的区间段,向所属的区间段对应的下载管理服务器查询已下载所述源文件的节点服务器的标识。
3.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括:
下载管理服务器获取并保存节点服务器当前维持的所述下载连接的数量;
在所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤之后,所述方法还包括:
下载管理服务器查找已下载所述源文件的节点服务器,选取查找到的节点服务器中所述下载连接数量最少的节点服务器,向所述发起查询的节点服务器返回选取的节点服务器的标识。
4.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,在所述属于不同的网络数据中心的多个节点服务器从数据源服务器下载源文件的步骤之前,所述方法还包括:
节点信息管理服务器获取节点服务器上报的本机安装的软件标识和版本信息;
调度管理服务器根据所述软件标识和版本信息获取需要下载所述源文件的节点服务器;
调度管理服务器选取所述需要下载所述源文件的节点服务器中的、且属于不同的网络数据中心的多个节点服务器,启动选取的节点服务器从数据源服务器下载源文件。
5.根据权利要求4所述的网络数据中心的数据分发方法,其特征在于,所述调度管理服务器选取所述需要下载所述源文件的节点服务器中的、且属于不同的网络数据中心的多个节点服务器的步骤包括:
调度管理服务器获取各网络数据中心的需要下载所述源文件的节点服务器的第一数量和/或内网传输带宽,根据所述第一数量和/或内网传输带宽获取各网络数据中心需从数据源服务器下载所述源文件的节点服务器的第二数量,从各网络数据中心需要下载所述源文件的节点服务器中选取各网络数据中心对应的所述第二数量的节点服务器。
6.根据权利要求1所述的网络数据中心的数据分发方法,其特征在于,所述方法还包括以下步骤:
分发统计服务器统计建立所述下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
7.一种网络数据中心的数据分发系统,其特征在于,包括多个网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器,所述节点服务器包括第一节点服务器和第二节点服务器,其中:
属于不同的网络数据中心的节点服务器之间通过专用线路通信;所述数据源服务器是网络数据中心的节点服务器;
数据源服务器用于存储和分发源文件;
所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识;
第一节点服务器用于从所述数据源服务器下载所述源文件;
所述第二节点服务器用于向所述下载管理服务器查询已下载所述源文件的节点服务器的标识;
所述下载管理服务器还用于查找已下载所述源文件的节点服务器,选取查找到的节点服务器中与所述发起查询的第二节点服务器属于同一个网络数据中心的节点服务器,向所述发起查询的第二节点服务器返回选取的节点服务器的标识;
所述第二节点服务器还用于与查询得到的节点服务器建立下载连接,从查询得到的节点服务器下载所述源文件。
8.根据权利要求7所述的网络数据中心的数据分发系统,其特征在于,所述第一节点服务器和第二节点服务器还用于在下载所述源文件之后,获取所述源文件的标识所属的区间段,将本机的标识以及所述源文件的标识发送到所述区间段对应的下载管理服务器;
所述第二节点服务器还用于获取所述源文件的标识所属的区间段,向所述区间段对应的下载管理服务器查询已下载所述源文件的节点服务器的标识。
9.根据权利要求7所述的网络数据中心的数据分发系统,其特征在于,所述下载管理服务器还用于获取并保存节点服务器当前维持的所述下载连接的数量;
所述下载管理服务器还用于查找已下载所述源文件的节点服务器,选取查找到的节点服务器中所述下载连接数量最少的节点服务器,向所述发起查询的第二节点服务器返回选取的节点服务器的标识。
10.根据权利要求7所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括:
节点信息管理服务器,用于获取并存储所述第一节点服务器和第二节点服务器上报的本机安装的软件的标识和版本信息;
调度管理服务器,用于根据所述软件的标识和版本信息获取需要下载所述源文件的节点服务器;
所述调度管理服务器还用于选取所述需要下载所述源文件的节点服务器中的、且属于不同的网络数据中心的多个节点服务器为第一节点服务器,启动第一节点服务器从数据源服务器下载所述源文件。
11.根据权利要求10所述的网络数据中心的数据分发系统,其特征在于,所述调度管理服务器还用于获取各网络数据中心的需要下载所述源文件的节点服务器的第一数量和/或内网传输带宽,根据所述第一数量和/或内网传输带宽获取各网络数据中心需从数据源服务器下载所述源文件的节点服务器的第二数量,从各网络数据中心需要下载所述源文件的节点服务器中选取各网络数据中心对应的所述第二数量的节点服务器为第一节点服务器。
12.根据权利要求7所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括:
分发统计服务器,用于统计建立所述下载连接的两端节点服务器的标识以及下载时长,获取相关的下载结果报表。
13.根据权利要求7所述的网络数据中心的数据分发系统,其特征在于,所述系统还包括查询接入服务器,一个所述查询接入服务器与多个所述节点服务器连接,所述查询接入服务器与所述下载管理服务器连接;
所述第二节点服务器用于将包含所述第二节点服务器的标识以及需下载的源文件的标识的查询请求发送至与所述第二节点服务器连接的查询接入服务器;
所述第一节点服务器和第二节点服务器还用于在下载所述源文件之后,将本机的标识以及已下载的源文件的标识发送到与本机连接的查询接入服务器;
所述查询接入服务器用于接收所述第一节点服务和第二节点服务器的标识以及对应的已下载的源文件的标识,获取所述已下载的源文件的标识所属的区间段,将接收的第一节点服务器和第二节点服务器的标识以及所述已下载的源文件的标识发送到所述区间段对应的下载管理服务器;
所述查询接入服务器还用于接收第二节点服务器发送的所述查询请求,获取所述查询请求中包含的源文件的标识所属的区间段,将查询请求发送给所述区间段对应的下载管理服务器;
所述下载管理服务器还用于通过所述查询接入服务器向发起查询的第二节点服务器返回已下载所述源文件的节点服务器的标识。
CN201210302934.1A 2012-08-23 2012-08-23 网络数据中心的数据分发方法和系统 Active CN103634346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210302934.1A CN103634346B (zh) 2012-08-23 2012-08-23 网络数据中心的数据分发方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210302934.1A CN103634346B (zh) 2012-08-23 2012-08-23 网络数据中心的数据分发方法和系统

Publications (2)

Publication Number Publication Date
CN103634346A CN103634346A (zh) 2014-03-12
CN103634346B true CN103634346B (zh) 2018-05-22

Family

ID=50214971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210302934.1A Active CN103634346B (zh) 2012-08-23 2012-08-23 网络数据中心的数据分发方法和系统

Country Status (1)

Country Link
CN (1) CN103634346B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN106453460B (zh) * 2015-08-12 2021-01-08 腾讯科技(深圳)有限公司 一种文件分发方法、装置和系统
CN105577797A (zh) * 2015-12-25 2016-05-11 北京像素软件科技股份有限公司 一种跨服务器数据互通的系统和方法
CN105657063B (zh) * 2016-03-23 2019-06-18 北京百度网讯科技有限公司 数据下载方法和装置
CN108337277A (zh) * 2017-01-19 2018-07-27 贵州白山云科技有限公司 一种下载更新文件的方法和系统
CN108337276A (zh) * 2017-01-19 2018-07-27 贵州白山云科技有限公司 一种文件分发方法和系统
CN108650323B (zh) * 2018-05-17 2021-01-22 北京奇艺世纪科技有限公司 一种idc调度优化方法及装置
CN110351282A (zh) * 2019-07-15 2019-10-18 深圳市网心科技有限公司 资源下载方法、电子设备、系统及介质
CN110493358B (zh) * 2019-09-16 2022-05-27 世纪海航(厦门)科技有限公司 一种基于自组网技术的文件传输方法、装置及服务器
CN112671879B (zh) * 2020-12-18 2023-01-10 北京浪潮数据技术有限公司 一种组件部署方法、系统及计算机可读存储介质
CN113778673B (zh) * 2021-08-27 2024-02-09 深圳市广和通无线股份有限公司 数据处理方法、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351775B1 (en) * 1997-05-30 2002-02-26 International Business Machines Corporation Loading balancing across servers in a computer network
CN101534204A (zh) * 2008-03-10 2009-09-16 中国网通集团宽带业务应用国家工程实验室有限公司 流媒体信息分发系统和方法及客户端
CN101562804A (zh) * 2009-05-12 2009-10-21 中兴通讯股份有限公司 一种基于移动p2p的区域管理服务器系统及其调度方法
CN101729273A (zh) * 2008-10-27 2010-06-09 中国移动通信集团公司 一种流媒体分发系统、方法及装置
CN101841558A (zh) * 2010-03-23 2010-09-22 中国科学院计算技术研究所 P2sp网络中资源的下载方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351775B1 (en) * 1997-05-30 2002-02-26 International Business Machines Corporation Loading balancing across servers in a computer network
CN101534204A (zh) * 2008-03-10 2009-09-16 中国网通集团宽带业务应用国家工程实验室有限公司 流媒体信息分发系统和方法及客户端
CN101729273A (zh) * 2008-10-27 2010-06-09 中国移动通信集团公司 一种流媒体分发系统、方法及装置
CN101562804A (zh) * 2009-05-12 2009-10-21 中兴通讯股份有限公司 一种基于移动p2p的区域管理服务器系统及其调度方法
CN101841558A (zh) * 2010-03-23 2010-09-22 中国科学院计算技术研究所 P2sp网络中资源的下载方法及系统

Also Published As

Publication number Publication date
CN103634346A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN103634346B (zh) 网络数据中心的数据分发方法和系统
CN109067930B (zh) 域名接入方法、域名解析方法、服务器、终端及存储介质
CN101409706B (zh) 一种边缘网络中的数据分发方法、数据分发系统及相关设备
CN110324177B (zh) 一种微服务架构下的服务请求处理方法、系统及介质
CN103281409B (zh) 基于tcp协议的移动互联网域名解析方法及dns服务器
CN102611763A (zh) Dns查询的方法及设备
CN102025793A (zh) 一种ip网络中的域名解析方法、系统及dns服务器
CN104618312A (zh) 一种m2m应用的远程注册方法、装置和系统
CN104580085A (zh) 业务数据更新方法、系统、客户端及服务器
CN102045411A (zh) 一种域名解析方法、服务器和系统
CN103944994A (zh) 分布式资源获取方法及装置
CN103442026A (zh) 一种应用程序处理方法、装置和系统
CN102957624B (zh) 内容路由方法和装置
CN101355590B (zh) 下载提示方法、系统及装置
CN101867976A (zh) 基于移动终端号码的负载均衡方法和设备
CN105704246A (zh) 一种基于sdn架构的网络分流装置和方法
CN104519148A (zh) 应用服务器地址的可达性检测方法与系统
CN102143141B (zh) 线缆调制解调器及其自动获取国家代码的方法
CN103841159B (zh) 一种离线文件传输系统和方法
CN104598266A (zh) 客户端应用业务逻辑更新方法、装置及设备
US11463376B2 (en) Resource distribution method and apparatus in Internet of Things, device, and storage medium
CN106534390B (zh) 权威域名系统服务器数据的存储和管理方法及系统
CN103458444A (zh) 设备配置自适应方法、装置及系统
US8498400B2 (en) Method and system for implementing number portability service
CN108076165A (zh) 一种域名解析信息管理的方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180927

Address after: 100089 Beijing Haidian District Zhichun Road 49 No. 3 West 309

Patentee after: Tencent cloud computing (Beijing) limited liability company

Address before: 518044 East 403 room, Sai Ge science and Technology Park, Futian District Zhenxing Road, Shenzhen, Guangdong, China, 2

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.

TR01 Transfer of patent right