CN106357539B - 一种数据获取方法和设备 - Google Patents

一种数据获取方法和设备 Download PDF

Info

Publication number
CN106357539B
CN106357539B CN201510423689.3A CN201510423689A CN106357539B CN 106357539 B CN106357539 B CN 106357539B CN 201510423689 A CN201510423689 A CN 201510423689A CN 106357539 B CN106357539 B CN 106357539B
Authority
CN
China
Prior art keywords
data
routing device
acquisition request
cache server
cdn cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510423689.3A
Other languages
English (en)
Other versions
CN106357539A (zh
Inventor
王晨纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taobao China Software Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510423689.3A priority Critical patent/CN106357539B/zh
Priority to PCT/CN2016/089307 priority patent/WO2017012475A1/zh
Publication of CN106357539A publication Critical patent/CN106357539A/zh
Application granted granted Critical
Publication of CN106357539B publication Critical patent/CN106357539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据获取方法和设备,该方法包括:路由设备接收内容分发网络CDN缓存服务器回源的数据获取请求,所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据;所述路由设备基于查找结果生成反馈消息,并将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;以此通过路由设备,实现了一个域名回源到多个存储中心,节约了资源,提高了用户体验。

Description

一种数据获取方法和设备
技术领域
本申请实施例涉及通信技术领域,特别涉及一种数据获取方法和设备。
背景技术
传统的CDN域名只能回源到一个存储中心,并将源站返回的内容缓存在CDN节点上,同时透明透出给客户端,这也意味着一个CDN的域名只能对应单个存储中心的文件存储设施。
对于用户如果想要同时让一个CDN域名支持多个存储中心的代理服务,目前是没有解决方案的,用户只能将所有文件数据迁移到一个集中的存储中心,然后配置CDN的回源地址到那个集中的存储中心去。这样中间会发生一段时间的访问中断,导致服务不可用,同时也限制了存储中心的可扩展性,随着业务量的增长,势必会导致存储中心的存储容量不够。
可见在现有技术中,一个CDN域名只能回源一个存储中心,这样导致当数据资源分布在多个存储中心时必须用多个域名,无法合并到一个域名来访问,导致用户使用成本太高,影响用户的体验。
发明内容
针对现有技术中一个域名只能回源到一个存储中心,导致存在多个存储中心时使用成本过高,且影响用户体验的缺陷,本申请提出了一种数据获取方法,包括:
路由设备接收CDN缓存服务器回源的数据获取请求,
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据;
所述路由设备基于查找结果生成反馈消息;
所述路由设备将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
可选的在所述路由设备接收CDN缓存服务器回源的数据获取请求之前,还包括:
将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
可选的,所述数据获取请求中包含有所述数据的URL,所述数据存储在存储中心,
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据,具体包括:
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心;
所述路由设备提取所述数据所在的存储中心的域名。
可选的,所述路由设备中预先存储有数据索引表,所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
所述路由设备基于所述URI在所述索引表中进行查找,确定所述数据所在的存储中心。
可选的,所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
所述路由设备基于对应关系确定所述数据获取请求对应的各个存储中心;
所述路由设备基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
可选的,所述路由设备基于查找结果生成反馈消息,具体包括:
所述路由设备基于提取的域名和所述URI生成第二URL来作为反馈消息。
本申请还提出了一种数据获取方法,包括:
CDN缓存服务器将接收到的数据获取请求回源给路由设备;
所述CDN缓存服务器接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据。
可选的,所述反馈消息中包含有所述数据的URL,所述数据存储在存储中心;
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据,具体包括:
所述CDN缓存服务器基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI;
所述CDN缓存服务器根据所述URI在所述确定的存储中心中获取所述数据。
可选的,在所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据之后,还包括:
所述CDN缓存服务器缓存所述数据,并将所述数据发送给所述数据获取请求对应的用户终端.
本申请还提出了一种路由设备,包括:
接收模块,用于接收CDN缓存服务器回源的数据获取请求,
查找模块,用于基于所述数据获取请求查找与所述数据获取请求对应的数据;
生成模块,用于基于查找结果生成反馈消息;
发送模块,用于将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
可选的,还包括:
修改模块,用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
可选的,所述数据获取请求中包含有所述数据的URL,所述数据存储在存储中心,
所述查找模块,具体用于:
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心;
所述路由设备提取所述数据所在的存储中心的域名。
可选的,所述路由设备中预先存储有数据索引表,所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系;
所述查找模块基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
基于所述URI在所述索引表中进行查找,确定所述数据所在的存储中心。
可选的,所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系;
所述查找模块基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
基于对应关系确定所述数据获取请求对应的各个存储中心;
基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
可选的,所述生成模块,具体用于:
基于提取的域名和所述URI生成第二URL来作为反馈消息。
本申请还提出了一种CDN缓存服务器,包括:
回源模块,用于将接收到的数据获取请求回源给路由设备;
接收模块,用于接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;
获取模块,用于基于所述反馈消息获取所述数据获取请求对应的数据。
可选的,所述反馈消息中包含有所述数据的URL,所述数据存储在存储中心;
所述获取模块,具体用于:
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI;
根据所述URI在所述确定的存储中心中获取所述数据。
可选的,该CDN缓存服务器还包括:
发送模块,用于缓存所述数据,并将所述数据发送给所述数据获取请求对应的用户终端。
本申请还公开了一种数据获取系统,包括:
路由设备,用于接收CDN缓存服务器回源的数据获取请求,基于所述数据获取请求查找与所述数据获取请求对应的数据;基于查找结果生成反馈消息;并将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;
CDN缓存服务器,用于将接收到的数据获取请求回源给路由设备;接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;并基于所述反馈消息获取所述数据获取请求对应的数据。
与现有技术相比,本申请中通过由设备接收CDN缓存服务器回源的数据获取请求,以及基于所述数据获取请求查找与所述数据获取请求对应的数据;并基于查找结果生成反馈消息,实现了一个域名可以回源到多个存储中心,降低了使用成本,提高了用户的体验。
附图说明
图1为本申请实施例的应用场景示意图;
图2为本申请实施例公开的一种数据获取方法的流程示意图;
图3为本申请实施例公开的一种数据获取方法的流程示意图;
图4为本申请实施例公开的一种路由设备的结构示意图;
图5为本申请实施例公开的一种路由设备的结构示意图;
图6为本申请实施例公开的一种CDN缓存服务器的结构示意图;
图7为本申请实施例公开的一种数据获取系统的结构示意图。
具体实施方式
针对背景技术的缺陷,本申请实施例公开了一种数据获取方法,应用于包括多次存储中心的如图1所示的系统中,在该系统中,CDN缓存服务器会将来自用户终端的数据获取请求回源至路由设备,路由设备查找到数据后基于数据所在的存储中心生成反馈消息反馈给CDN缓存服务器,以使CDN缓存服务器缓存该数据,并返回给用户终端,以此减少了用户和CDN缓存服务器的工作负荷,提高了用户体验。
该方法如图2所示,包括以下步骤:
步骤201、路由设备接收CDN缓存服务器回源的数据获取请求。
在路由设备接收CDN(Content distribution network,内容分发网络)缓存服务器回源的数据获取请求,之前还包括:
将CDN缓存服务器的回源地址修改为路由设备的地址,以便在CDN缓存服务器回源时,路由设备接收CDN缓存服务器回源的数据获取请求。
具体的,当用户所在终端向CDN缓存服务器发送数据获取请求,CDN缓存服务器自身的缓存中没有该数据获取请求对应的数据时,会基于该数据获取请求去其他设备获取对应的数据,在默认情况下,CDN缓存服务器有预设回源地址,也即预设的源站地址,当CDN缓存服务器接收到数据获取请求,而自身没有缓存需要的数据时,会基于该数据获取回源到源站中获取数据,为此,本申请中对CDN缓存服务器的回源地址进行修改,具体的,可以是通过路由设备来进行修改,也可以是其他的任何设备或者人工设置等方式来进行修改,将其修改为路由设备的地址,以此当需要回源时,CDN缓存服务器将数据获取请求发送给路由设备,后续有路由设备来基于数据获取请求来查找对应的数据;例如,CDN缓存服务器原先的回源地址为地址1(即源站地址),路由设备的地址为地址2,原来在需要回源时,CDN缓存服务器是将数据获取请求回源到地址1,而在将回源地址从地址1修改为地址2之后,CDN缓存服务器在需要进行回源时,将数据获取请求回源到地址2,也即发送数据获取请求给路由设备。
步骤202、路由设备基于数据获取请求查找与数据获取请求对应的数据。
数据获取请求中包含有数据的URL(Uniform Resource Locator,统一资源定位符),数据存储在存储中心。
由此,路由设备基于数据获取请求查找与数据获取请求对应的数据,具体包括:
路由设备基于数据获取请求中的URL确定URL中的URI(Uniform ResourceIdentifier,统一资源标识符);路由设备基于URI进行数据查找,以确定数据所在的存储中心;路由设备提取数据所在的存储中心的域名。
也即通过URI来进行数据的查找,而具体的查找中,有以下两种方式:
方式一,路由设备中预先存储有数据索引表,索引表中存储有各存储中心与各存储中心存储的数据的对应关系;
路由设备基于URI进行数据查找,以确定数据所在的存储中心,具体包括:路由设备基于URI在索引表中进行查找,确定数据所在的存储中心。
具体的,在本申请的一个实施例中,路由设备预先存储有索引表,该索引表可以如表1所示。
表1
而数据获取请求中包含有URL,而URL中包含有域名以及URI,因此路由设备接收到数据获取请求后,提取出其中的URI,由URI就可以确定需要查找的数据,例如要查找的是数据G,则可以通过索引表得知其存储在存储中心2中,以此查找数据,并记录存储中心2的域名。
方式二,路由设备中预先存储有各个存储中心的域名与数据获取请求的对应关系;
路由设备基于URI进行数据查找,以确定数据所在的存储中心,具体包括:路由设备基于对应关系确定数据获取请求对应的各个存储中心;路由设备基于URI在各个存储中心中查找数据以确定数据所在的存储中心。
步骤203、路由设备基于查找结果生成反馈消息。
路由设备基于查找结果生成反馈消息,具体包括:
路由设置基于提取的域名(即数据所在的存储中心的域名)和URI生成第二URI来作为反馈消息。
具体的,以存储中心包括一个数据中心和一个源站为例来进行说明,若在数据中心查找到数据,利用数据中心的域名(例如为www.ABCD.com)与URI(例如为1.jpg)生成第二URL来作为反馈消息,例如可以为www.ABCD.com/1.jpg来作为反馈消息,而若是确定数据存储在源站中,类似的,提取源站的域名,例如为www.EFC.com,和URI,例如为1.jpg来生成第二URL来作为反馈消息,例如可以为www.EFC.com/1.jpg来作为反馈消息。
步骤204、路由设备将反馈消息发送给CDN缓存服务器,以使得CDN缓存服务基于反馈消息获取到数据。
在步骤203中,生成了反馈消息,之后,路由设备将生成的反馈消息发送给CDN缓存服务器,以便CDN缓存服务器在接收到该反馈消息后(或者是第二URL,或者是第三URL),基于反馈消息找到对应的数据(或者在数据中心,或者在源站),缓存该数据,并将该数据展示给用户所在终端。
以上是基于路由设备侧来进行说明,本申请实施例二在CDN缓存服务器还提出了一种数据获取方法,如图3所示,包括:
步骤301、CDN缓存服务器将接收到的数据获取请求回源给路由设备;
步骤302、CDN缓存服务器接收路由设备基于数据获取请求反馈的反馈消息,其中反馈消息中包含有与数据获取请求对应的数据所在的地址;
步骤303、CDN缓存服务器基于反馈消息获取数据获取请求对应的数据。
具体的,反馈消息中包含有数据的URL,数据存储在存储中心;
CDN缓存服务器基于反馈消息获取数据获取请求对应的数据,具体包括:
CDN缓存服务器基于反馈消息中的URL确定数据所在的存储中心的域名以及数据的URI;
CDN缓存服务器根据URI在确定的存储中心中获取数据。
在CDN缓存服务器基于反馈消息获取数据获取请求对应的数据之后,还包括:
CDN缓存服务器缓存数据,并将数据发送给数据获取请求对应的用户终端。
为了进一步对本申请进行说明,本申请实施例二还提出了一种具体场景下的数据获取方法,包括:
在该实施例中,用户有很多图片的数据,一部分存储在数据中心(数据中心域名为:user-bucket.oss.aliyuncs.com),还一部分存储在用户自定义的源站(源站域名为:image-source.somesite.com)中,用户访问www.somesitecdn.com(即图片的CDN域名),由于用户希望把图片从源站迁移到数据中心,为此,用户需要填写他的源站域名image-source.somesite.com,以及注册他当前使用的CDN域名www.somesitecdn.com,也由此路由设备中存储有www.somesitecdn.com与image-source.somesite.com的映射关系;
当用户访问www.somesitecdn.com时,会经过CDN缓存服务器,由于预先将CDN缓存服务器的回源地址修改为路由设备,CDN缓存服务器将该访问请求回源到路由设备,由此,路由设备基于访问请求查找数据,确定数据是存储在数据中心还是源站。
具体的,例如有一张图片abc.jpg已经被上传数据中心,那么用户访问www.somesitecdn.com/abc.jpg时,路由设备发现这张图片在数据中心里,那么就返回X-SECOND-PROXY-PASS:user-bucket.oss.aliyuncs.com/abc.jpg的Header给CDN缓存服务器,CDN缓存服务器再去user-bucket.oss.aliyuncs.com/abc.jpg抓取图片,缓存该图片并返回给用户。
另外有一张图片def.jpg,不在数据中心,在用户的自定义源站上,那么用户访问www.sitesitecdn.com/def.jpg时,路由设备发现这张图片不在数据中心,那么就返回X-SECOND-PROXY-PASS:image-source.somesite.com/def.jpg的Header给CDN缓存服务器,CDN缓存服务器再去image-source.somesite.com/def.jpg抓取图片,缓存该图片并返回给用户。
以此,不管源站有多少个,通过路由设备来使得CDN缓存服务器进行多次回源,使得用户实际看到和访问是同一个CDN域名,实现了一个CDN域名可以回源到多个源站。
本申请实施例三还公开了一种路由设备,如图4所示,包括:
接收模块401,用于接收CDN缓存服务器回源的数据获取请求,
查找模块402,用于基于所述数据获取请求查找与所述数据获取请求对应的数据;
生成模块403,用于基于查找结果生成反馈消息;
发送模块404,用于将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
如图5所示,该路由设备,还包括:
修改模块505,用于将所述CDN缓存服务器的回源地址从源站地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收CDN缓存服务器回源的数据获取请求。
具体的,所述数据获取请求中包含有所述数据的URL,所述数据存储在存储中心,
所述查找模块402,具体用于:
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI;所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心;所述路由设备提取所述数据所在的存储中心的域名。
具体的,所述路由设备中预先存储有数据索引表,所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系;
所述查找模块402基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
基于所述URI在所述索引表中进行查找,确定所述数据所在的存储中心。
具体的,所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系;
所述查找模块402基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
基于对应关系确定所述数据获取请求对应的各个存储中心;
基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
所述生成模块403,具体用于:
基于提取的域名和所述URI生成第二URI来作为反馈消息。
本申请实施例还公开了一种CDN缓存服务器,如图6所示,包括:
回源模块601,用于将接收到的数据获取请求回源给路由设备;
接收模块602,用于接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;
获取模块603,用于基于所述反馈消息获取所述数据获取请求对应的数据。
所述反馈消息中包含有所述数据的URL,所述数据存储在存储中心;
所述获取模块603,具体用于:
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI;
根据所述URI在所述确定的存储中心中获取所述数据。
具体的,该CDN缓存服务器还包括:
发送模块,用于缓存所述数据,并将所述数据发送给所述数据获取请求对应的用户终端。
本申请实施例还公开了一种数据获取系统,如图1以及图7所述,包括:
路由设备,用于接收CDN缓存服务器回源的数据获取请求,基于所述数据获取请求查找与所述数据获取请求对应的数据;基于查找结果生成反馈消息;并将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;
CDN缓存服务器,用于将接收到的数据获取请求回源给路由设备;接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;并基于所述反馈消息获取所述数据获取请求对应的数据。
与现有技术相比,本申请中通过路由设备接收CDN缓存服务器回源的数据获取请求,以及基于所述数据获取请求查找与所述数据获取请求对应的数据;并基于查找结果生成反馈消息,实现了一个域名可以回源到多个存储中心,降低了使用成本,提高了用户的体验。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (12)

1.一种数据获取方法,其特征在于,包括:
路由设备接收CDN缓存服务器回源的数据获取请求,
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据;
所述路由设备基于查找结果生成反馈消息;
所述路由设备将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;
在所述路由设备接收CDN缓存服务器回源的数据获取请求之前,还包括:
将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
2.如权利要求1所述的方法,其特征在于,所述数据获取请求中包含有所述数据的URL,所述数据存储在存储中心,
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据,具体包括:
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心;
所述路由设备提取所述数据所在的存储中心的域名。
3.如权利要求2所述的方法,其特征在于,所述路由设备中预先存储有数据索引表,所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系;所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
所述路由设备基于所述URI在所述索引表中进行查找,确定所述数据所在的存储中心;或
所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系;所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心,具体包括:
所述路由设备基于对应关系确定所述数据获取请求对应的各个存储中心;
所述路由设备基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
4.一种数据获取方法,其特征在于,包括:
CDN缓存服务器将接收到的数据获取请求回源给路由设备;
所述CDN缓存服务器接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据;
在所述CDN缓存服务器将接收到的数据获取请求回源给路由设备之前,还包括:
将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
5.如权利要求4所述的方法,其特征在于,所述反馈消息中包含有所述数据的URL,所述数据存储在存储中心;
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据,具体包括:
所述CDN缓存服务器基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI;
所述CDN缓存服务器根据所述URI在所述确定的存储中心中获取所述数据。
6.如权利要求4或5所述的方法,其特征在于,在所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据之后,还包括:
所述CDN缓存服务器缓存所述数据,并将所述数据发送给所述数据获取请求对应的用户终端。
7.一种路由设备,其特征在于,包括:
接收模块,用于接收CDN缓存服务器回源的数据获取请求,
查找模块,用于基于所述数据获取请求查找与所述数据获取请求对应的数据;
生成模块,用于基于查找结果生成反馈消息;
发送模块,用于将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;
还包括:修改模块,用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
8.如权利要求7所述的路由设备,其特征在于,所述数据获取请求中包含有所述数据的URL,所述数据存储在存储中心,
所述查找模块,具体用于:
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI;
所述路由设备基于所述URI进行数据查找,以确定所述数据所在的存储中心;
所述路由设备提取所述数据所在的存储中心的域名。
9.一种CDN缓存服务器,其特征在于,包括:
回源模块,用于将接收到的数据获取请求回源给路由设备;
接收模块,用于接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;
获取模块,用于基于所述反馈消息获取所述数据获取请求对应的数据;
还包括:修改模块,用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
10.如权利要求9所述的CDN缓存服务器,其特征在于,所述反馈消息中包含有所述数据的URL,所述数据存储在存储中心;
所述获取模块,具体用于:
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI;
根据所述URI在所述确定的存储中心中获取所述数据。
11.如权利要求9或10所述的CDN缓存服务器,其特征在于,还包括:
发送模块,用于缓存所述数据,并将所述数据发送给所述数据获取请求对应的用户终端。
12.一种数据获取系统,其特征在于,包括:
路由设备,用于接收CDN缓存服务器回源的数据获取请求,基于所述数据获取请求查找与所述数据获取请求对应的数据;基于查找结果生成反馈消息;并将所述反馈消息发送给所述CDN缓存服务器,以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据;
CDN缓存服务器,用于将接收到的数据获取请求回源给路由设备;接收路由设备基于所述数据获取请求反馈的反馈消息,其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址;并基于所述反馈消息获取所述数据获取请求对应的数据;
还包括:修改模块,用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址,以便在所述CDN缓存服务器回源时,路由设备接收所述CDN缓存服务器回源的数据获取请求。
CN201510423689.3A 2015-07-17 2015-07-17 一种数据获取方法和设备 Active CN106357539B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510423689.3A CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备
PCT/CN2016/089307 WO2017012475A1 (zh) 2015-07-17 2016-07-08 一种数据获取方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510423689.3A CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备

Publications (2)

Publication Number Publication Date
CN106357539A CN106357539A (zh) 2017-01-25
CN106357539B true CN106357539B (zh) 2019-06-21

Family

ID=57833615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510423689.3A Active CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备

Country Status (2)

Country Link
CN (1) CN106357539B (zh)
WO (1) WO2017012475A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574666B (zh) * 2017-03-09 2020-08-07 贵州白山云科技股份有限公司 一种数据流调度方法、装置和系统
CN107562803B (zh) * 2017-08-08 2020-10-30 上海数据交易中心有限公司 数据供应系统及方法、终端
CN110875941A (zh) * 2018-09-03 2020-03-10 阿里巴巴集团控股有限公司 一种源站访问流量的调整方法及装置,电子和存储设备
CN112241335A (zh) * 2019-07-16 2021-01-19 腾讯科技(北京)有限公司 数据处理方法及装置
CN113296690A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 数据迁移方法、装置和设备
CN113037869B (zh) * 2021-04-14 2022-09-30 北京百度网讯科技有限公司 用于内容分发网络系统的回源的方法和装置
CN113472852B (zh) * 2021-06-02 2023-07-25 乐视云网络技术(北京)有限公司 一种cdn节点的回源方法、装置、设备以及存储介质
CN113676563B (zh) * 2021-08-19 2022-11-08 平安普惠企业管理有限公司 内容分发网络服务的调度方法、装置、设备及存储介质
CN115051876A (zh) * 2022-08-12 2022-09-13 中兴通讯股份有限公司 通信方法、xr联动通信系统、运行控制装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668518A (zh) * 2011-12-02 2012-09-12 华为技术有限公司 一种内容分发网络路由方法、系统和用户终端
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104702617A (zh) * 2015-03-20 2015-06-10 广东睿江科技有限公司 一种基于内容分发网络的数据分发方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191465B2 (en) * 2012-11-21 2015-11-17 NETFLIX Inc. Multi-CDN digital content streaming

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668518A (zh) * 2011-12-02 2012-09-12 华为技术有限公司 一种内容分发网络路由方法、系统和用户终端
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104702617A (zh) * 2015-03-20 2015-06-10 广东睿江科技有限公司 一种基于内容分发网络的数据分发方法及装置

Also Published As

Publication number Publication date
CN106357539A (zh) 2017-01-25
WO2017012475A1 (zh) 2017-01-26

Similar Documents

Publication Publication Date Title
CN106357539B (zh) 一种数据获取方法和设备
CN106933871B (zh) 短链接处理方法、装置及短链接服务器
US9609366B2 (en) Digital television terminal, video file playing method and video file playing system
CN109542613A (zh) 一种cdn节点内服务调度的分配方法、装置及存储介质
CN102238137A (zh) 一种下载方法、系统和装置
CN106791889A (zh) 一种视频处理方法及系统、分布式对象存储系统
CN102271165B (zh) 互联网搜索资源的分享管理装置及方法
TW201405324A (zh) 雲端資料儲存系統及基於該系統的資料儲存與共用方法
CN103347089A (zh) 一种对网站动态资源和静态资源分离加速的方法及装置
CN101997759A (zh) 一种业务实现方法及业务系统
CN113271362B (zh) 基于混合云的教育资源的处理方法、装置、系统及介质
CN105208058A (zh) 基于web会话共享的信息交互系统
CN109684568A (zh) 图片处理方法和装置
CN103297447A (zh) 一种资源共享方法及其设备
CN106131138A (zh) 一种基于非阻塞队列的展示数据实时推送系统和方法
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN107580021A (zh) 一种文件传输的方法和装置
CN102857530A (zh) 一种上传图片的方法及系统
CN102938775A (zh) 一种视频微博发布方法、系统及客户端
CN105959420A (zh) 多客户端元数据同步更新方法及系统
CN104519088A (zh) 一种缓存系统的实现方法及缓存系统
CN104205730B (zh) 网元数据访问方法、虚拟网元、网络管理服务器及网络管理系统
CN105227661B (zh) 文件分享方法及系统、服务器
US20150372939A1 (en) Mobile supercloud computing system and method
CN114830105B (zh) 一种数据读取方法以及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211110

Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Taobao (China) Software Co., Ltd

Address before: P.O. Box 847, 4th floor, Grand Cayman capital building, British Cayman Islands

Patentee before: Alibaba Group Holdings Limited