CN106357539A - 一种数据获取方法和设备 - Google Patents

一种数据获取方法和设备 Download PDF

Info

Publication number
CN106357539A
CN106357539A CN201510423689.3A CN201510423689A CN106357539A CN 106357539 A CN106357539 A CN 106357539A CN 201510423689 A CN201510423689 A CN 201510423689A CN 106357539 A CN106357539 A CN 106357539A
Authority
CN
China
Prior art keywords
data
acquisition request
routing device
data acquisition
feedback message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510423689.3A
Other languages
English (en)
Other versions
CN106357539B (zh
Inventor
王晨纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taobao China Software Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510423689.3A priority Critical patent/CN106357539B/zh
Priority to PCT/CN2016/089307 priority patent/WO2017012475A1/zh
Publication of CN106357539A publication Critical patent/CN106357539A/zh
Application granted granted Critical
Publication of CN106357539B publication Critical patent/CN106357539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据获取方法和设备，该方法包括：路由设备接收内容分发网络CDN缓存服务器回源的数据获取请求，所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据；所述路由设备基于查找结果生成反馈消息，并将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据；以此通过路由设备，实现了一个域名回源到多个存储中心，节约了资源，提高了用户体验。

Description

一种数据获取方法和设备
技术领域
本申请实施例涉及通信技术领域，特别涉及一种数据获取方法和设备。
背景技术
传统的CDN域名只能回源到一个存储中心，并将源站返回的内容缓存在CDN节点上，同时透明透出给客户端，这也意味着一个CDN的域名只能对应单个存储中心的文件存储设施。
对于用户如果想要同时让一个CDN域名支持多个存储中心的代理服务，目前是没有解决方案的，用户只能将所有文件数据迁移到一个集中的存储中心，然后配置CDN的回源地址到那个集中的存储中心去。这样中间会发生一段时间的访问中断，导致服务不可用，同时也限制了存储中心的可扩展性，随着业务量的增长，势必会导致存储中心的存储容量不够。
可见在现有技术中，一个CDN域名只能回源一个存储中心，这样导致当数据资源分布在多个存储中心时必须用多个域名，无法合并到一个域名来访问，导致用户使用成本太高，影响用户的体验。
发明内容
针对现有技术中一个域名只能回源到一个存储中心，导致存在多个存储中心时使用成本过高，且影响用户体验的缺陷，本申请提出了一种数据获取方法，包括：
路由设备接收CDN缓存服务器回源的数据获取请求，
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据；
所述路由设备基于查找结果生成反馈消息；
所述路由设备将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
可选的，在所述路由设备接收CDN缓存服务器回源的数据获取请求之前，还包括：
将所述CDN缓存服务器的回源地址修改为所述路由设备的地址，以便在所述CDN缓存服务器回源时，路由设备接收所述CDN缓存服务器回源的数据获取请求。
可选的，所述数据获取请求中包含有所述数据的URL，所述数据存储在存储中心，
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据，具体包括：
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心；
所述路由设备提取所述数据所在的存储中心的域名。
可选的，所述路由设备中预先存储有数据索引表，所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
所述路由设备基于所述URI在所述索引表中进行查找，确定所述数据所在的存储中心。
可选的，所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
所述路由设备基于对应关系确定所述数据获取请求对应的各个存储中心；
所述路由设备基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
可选的，所述路由设备基于查找结果生成反馈消息，具体包括：
所述路由设备基于提取的域名和所述URI生成第二URL来作为反馈消息。
本申请还提出了一种数据获取方法，包括：
CDN缓存服务器将接收到的数据获取请求回源给路由设备；
所述CDN缓存服务器接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据。
可选的，所述反馈消息中包含有所述数据的URL，所述数据存储在存储中心；
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据，具体包括：
所述CDN缓存服务器基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI；
所述CDN缓存服务器根据所述URI在所述确定的存储中心中获取所述数据。
可选的，在所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据之后，还包括：
所述CDN缓存服务器缓存所述数据，并将所述数据发送给所述数据获取请求对应的用户终端.
本申请还提出了一种路由设备，包括：
接收模块，用于接收CDN缓存服务器回源的数据获取请求，
查找模块，用于基于所述数据获取请求查找与所述数据获取请求对应的数据；
生成模块，用于基于查找结果生成反馈消息；
发送模块，用于将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
可选的，还包括：
修改模块，用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址，以便在所述CDN缓存服务器回源时，路由设备接收所述CDN缓存服务器回源的数据获取请求。
可选的，所述数据获取请求中包含有所述数据的URL，所述数据存储在存储中心，
所述查找模块，具体用于：
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心；
所述路由设备提取所述数据所在的存储中心的域名。
可选的，所述路由设备中预先存储有数据索引表，所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系；
所述查找模块基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
基于所述URI在所述索引表中进行查找，确定所述数据所在的存储中心。
可选的，所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系；
所述查找模块基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
基于对应关系确定所述数据获取请求对应的各个存储中心；
基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
可选的，所述生成模块，具体用于：
基于提取的域名和所述URI生成第二URL来作为反馈消息。
本申请还提出了一种CDN缓存服务器，包括：
回源模块，用于将接收到的数据获取请求回源给路由设备；
接收模块，用于接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；
获取模块，用于基于所述反馈消息获取所述数据获取请求对应的数据。
可选的，所述反馈消息中包含有所述数据的URL，所述数据存储在存储中心；
所述获取模块，具体用于：
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI；
根据所述URI在所述确定的存储中心中获取所述数据。
可选的，该CDN缓存服务器还包括：
发送模块，用于缓存所述数据，并将所述数据发送给所述数据获取请求对应的用户终端。
本申请还公开了一种数据获取系统，包括：
路由设备，用于接收CDN缓存服务器回源的数据获取请求，基于所述数据获取请求查找与所述数据获取请求对应的数据；基于查找结果生成反馈消息；并将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据；
CDN缓存服务器，用于将接收到的数据获取请求回源给路由设备；接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；并基于所述反馈消息获取所述数据获取请求对应的数据。
与现有技术相比，本申请中通过由设备接收CDN缓存服务器回源的数据获取请求，以及基于所述数据获取请求查找与所述数据获取请求对应的数据；并基于查找结果生成反馈消息，实现了一个域名可以回源到多个存储中心，降低了使用成本，提高了用户的体验。
附图说明
图1为本申请实施例的应用场景示意图；
图2为本申请实施例公开的一种数据获取方法的流程示意图；
图3为本申请实施例公开的一种数据获取方法的流程示意图；
图4为本申请实施例公开的一种路由设备的结构示意图；
图5为本申请实施例公开的一种路由设备的结构示意图；
图6为本申请实施例公开的一种CDN缓存服务器的结构示意图；
图7为本申请实施例公开的一种数据获取系统的结构示意图。
具体实施方式
针对背景技术的缺陷，本申请实施例公开了一种数据获取方法，应用于包括多次存储中心的如图1所示的系统中，在该系统中，CDN缓存服务器会将来自用户终端的数据获取请求回源至路由设备，路由设备查找到数据后基于数据所在的存储中心生成反馈消息反馈给CDN缓存服务器，以使CDN缓存服务器缓存该数据，并返回给用户终端，以此减少了用户和CDN缓存服务器的工作负荷，提高了用户体验。
该方法如图2所示，包括以下步骤：
步骤201、路由设备接收CDN缓存服务器回源的数据获取请求。
在路由设备接收CDN(Content distribution network，内容分发网络)缓存服务器回源的数据获取请求，之前还包括：
将CDN缓存服务器的回源地址修改为路由设备的地址，以便在CDN缓存服务器回源时，路由设备接收CDN缓存服务器回源的数据获取请求。
具体的，当用户所在终端向CDN缓存服务器发送数据获取请求，CDN缓存服务器自身的缓存中没有该数据获取请求对应的数据时，会基于该数据获取请求去其他设备获取对应的数据，在默认情况下，CDN缓存服务器有预设回源地址，也即预设的源站地址，当CDN缓存服务器接收到数据获取请求，而自身没有缓存需要的数据时，会基于该数据获取回源到源站中获取数据，为此，本申请中对CDN缓存服务器的回源地址进行修改，具体的，可以是通过路由设备来进行修改，也可以是其他的任何设备或者人工设置等方式来进行修改，将其修改为路由设备的地址，以此当需要回源时，CDN缓存服务器将数据获取请求发送给路由设备，后续有路由设备来基于数据获取请求来查找对应的数据；例如，CDN缓存服务器原先的回源地址为地址1(即源站地址)，路由设备的地址为地址2，原来在需要回源时，CDN缓存服务器是将数据获取请求回源到地址1，而在将回源地址从地址1修改为地址2之后，CDN缓存服务器在需要进行回源时，将数据获取请求回源到地址2，也即发送数据获取请求给路由设备。
步骤202、路由设备基于数据获取请求查找与数据获取请求对应的数据。
数据获取请求中包含有数据的URL(Uniform Resource Locator，统一资源定位符)，数据存储在存储中心。
由此，路由设备基于数据获取请求查找与数据获取请求对应的数据，具体包括：
路由设备基于数据获取请求中的URL确定URL中的URI(UniformResource Identifier，统一资源标识符)；路由设备基于URI进行数据查找，以确定数据所在的存储中心；路由设备提取数据所在的存储中心的域名。
也即通过URI来进行数据的查找，而具体的查找中，有以下两种方式：
方式一，路由设备中预先存储有数据索引表，索引表中存储有各存储中心与各存储中心存储的数据的对应关系；
路由设备基于URI进行数据查找，以确定数据所在的存储中心，具体包括：路由设备基于URI在索引表中进行查找，确定数据所在的存储中心。
具体的，在本申请的一个实施例中，路由设备预先存储有索引表，该索引表可以如表1所示。
表1
存储中心 存储中心中存储的数据
存储中心1 数据A，数据B，数据C
存储中心2 数据F，数据G
存储中心3 数据J
〃〃〃 〃〃〃
存储中心n 数据K
而数据获取请求中包含有URL，而URL中包含有域名以及URI，因此路由设备接收到数据获取请求后，提取出其中的URI，由URI就可以确定需要查找的数据，例如要查找的是数据G，则可以通过索引表得知其存储在存储中心2中，以此查找数据,并记录存储中心2的域名。
方式二，路由设备中预先存储有各个存储中心的域名与数据获取请求的对应关系；
路由设备基于URI进行数据查找，以确定数据所在的存储中心，具体包括：路由设备基于对应关系确定数据获取请求对应的各个存储中心；路由设备基于URI在各个存储中心中查找数据以确定数据所在的存储中心。
步骤203、路由设备基于查找结果生成反馈消息。
路由设备基于查找结果生成反馈消息，具体包括：
路由设备基于查找结果生成反馈消息，具体包括：
路由设置基于提取的域名(即数据所在的存储中心的域名)和URI生成第二URI来作为反馈消息。
具体的，以存储中心包括一个数据中心和一个源站为例来进行说明，若在数据中心查找到数据，利用数据中心的域名(例如为www.ABCD.com)与URI(例如为1.jpg)生成第二URL来作为反馈消息，例如可以为www.ABCD.com/1.jpg来作为反馈消息，而若是确定数据存储在源站中，类似的，提取源站的域名，例如为www.EFC.com，和URI，例如为1.jpg来生成第二URL来作为反馈消息，例如可以为www.EFC.com/1.jpg来作为反馈消息。
步骤204、路由设备将反馈消息发送给CDN缓存服务器，以使得CDN缓存服务基于反馈消息获取到数据。
在步骤203中，生成了反馈消息，之后，路由设备将生成的反馈消息发送给CDN缓存服务器,以便CDN缓存服务器在接收到该反馈消息后(或者是第二URL，或者是第三URL)，基于反馈消息找到对应的数据(或者在数据中心，或者在源站)，缓存该数据，并将该数据展示给用户所在终端。
以上是基于路由设备侧来进行说明，本申请实施例二在CDN缓存服务器还提出了一种数据获取方法，如图3所示，包括：
步骤301、CDN缓存服务器将接收到的数据获取请求回源给路由设备；
步骤302、CDN缓存服务器接收路由设备基于数据获取请求反馈的反馈消息，其中反馈消息中包含有与数据获取请求对应的数据所在的地址；
步骤303、CDN缓存服务器基于反馈消息获取数据获取请求对应的数据。
具体的，反馈消息中包含有数据的URL，数据存储在存储中心；
CDN缓存服务器基于反馈消息获取数据获取请求对应的数据，具体包括：
CDN缓存服务器基于反馈消息中的URL确定数据所在的存储中心的域名以及数据的URI；
CDN缓存服务器根据URI在确定的存储中心中获取数据。
在CDN缓存服务器基于反馈消息获取数据获取请求对应的数据之后，还包括：
CDN缓存服务器缓存数据，并将数据发送给数据获取请求对应的用户终端。
为了进一步对本申请进行说明，本申请实施例二还提出了一种具体场景下的数据获取方法，包括：
在该实施例中，用户有很多图片的数据，一部分存储在数据中心(数据中心域名为：user-bucket.oss.aliyuncs.com)，还一部分存储在用户自定义的源站(源站域名为：image-source.somesite.com)中，用户访问www.somesitecdn.com(即图片的CDN域名)，由于用户希望把图片从源站迁移到数据中心，为此，用户需要填写他的源站域名image-source.somesite.com，以及注册他当前使用的CDN域名www.somesitecdn.com，也由此路由设备中存储有www.somesitecdn.com与image-source.somesite.com的映射关系；
当用户访问www.somesitecdn.com时，会经过CDN缓存服务器，由于预先将CDN缓存服务器的回源地址修改为路由设备，CDN缓存服务器将该访问请求回源到路由设备，由此，路由设备基于访问请求查找数据，确定数据是存储在数据中心还是源站。
具体的，例如有一张图片abc.jpg已经被上传数据中心，那么用户访问www.somesitecdn.com/abc.jpg时，路由设备发现这张图片在数据中心里，那么就返回X-SECOND-PROXY-PASS:user-bucket.oss.aliyuncs.com/abc.jpg的Header给CDN缓存服务器，CDN缓存服务器再去user-bucket.oss.aliyuncs.com/abc.jpg抓取图片，缓存该图片并返回给用户。
另外有一张图片def.jpg，不在数据中心，在用户的自定义源站上，那么用户访问www.sitesitecdn.com/def.jpg时，路由设备发现这张图片不在数据中心，那么就返回X-SECOND-PROXY-PASS:image-source.somesite.com/def.jpg的Header给CDN缓存服务器，CDN缓存服务器再去image-source.somesite.com/def.jpg抓取图片，缓存该图片并返回给用户。
以此，不管源站有多少个，通过路由设备来使得CDN缓存服务器进行多次回源，使得用户实际看到和访问是同一个CDN域名，实现了一个CDN域名可以回源到多个源站。
本申请实施例三还公开了一种路由设备，如图4所示，包括：
接收模块401，用于接收CDN缓存服务器回源的数据获取请求，
查找模块402，用于基于所述数据获取请求查找与所述数据获取请求对应的数据；
生成模块403，用于基于查找结果生成反馈消息；
发送模块404，用于将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
如图5所示，该路由设备，还包括：
修改模块505，用于将所述CDN缓存服务器的回源地址从源站地址修改为所述路由设备的地址，以便在所述CDN缓存服务器回源时，路由设备接收CDN缓存服务器回源的数据获取请求。
具体的，所述数据获取请求中包含有所述数据的URL，所述数据存储在存储中心，
所述查找模块402，具体用于：
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI；所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心；所述路由设备提取所述数据所在的存储中心的域名。
具体的，所述路由设备中预先存储有数据索引表，所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系；
所述查找模块402基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
基于所述URI在所述索引表中进行查找，确定所述数据所在的存储中心。
具体的，所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系；
所述查找模块402基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
基于对应关系确定所述数据获取请求对应的各个存储中心；
基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
所述生成模块403，具体用于：
基于提取的域名和所述URI生成第二URI来作为反馈消息。
本申请实施例还公开了一种CDN缓存服务器，如图6所示，包括：
回源模块601，用于将接收到的数据获取请求回源给路由设备；
接收模块602，用于接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；
获取模块603，用于基于所述反馈消息获取所述数据获取请求对应的数据。
所述反馈消息中包含有所述数据的URL，所述数据存储在存储中心；
所述获取模块603，具体用于：
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI；
根据所述URI在所述确定的存储中心中获取所述数据。
具体的，该CDN缓存服务器还包括：
发送模块，用于缓存所述数据，并将所述数据发送给所述数据获取请求对应的用户终端。
本申请实施例还公开了一种数据获取系统，如图1以及图7所述，包括：
路由设备，用于接收CDN缓存服务器回源的数据获取请求，基于所述数据获取请求查找与所述数据获取请求对应的数据；基于查找结果生成反馈消息；并将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据；
CDN缓存服务器，用于将接收到的数据获取请求回源给路由设备；接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；并基于所述反馈消息获取所述数据获取请求对应的数据。
与现有技术相比，本申请中通过路由设备接收CDN缓存服务器回源的数据获取请求，以及基于所述数据获取请求查找与所述数据获取请求对应的数据；并基于查找结果生成反馈消息，实现了一个域名可以回源到多个存储中心，降低了使用成本，提高了用户的体验。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (14)

1.一种数据获取方法，其特征在于，包括：
路由设备接收CDN缓存服务器回源的数据获取请求，
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据；
所述路由设备基于查找结果生成反馈消息；
所述路由设备将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
2.如权利要求1所述的方法，其特征在于，在所述路由设备接收CDN缓存服务器回源的数据获取请求之前，还包括：
将所述CDN缓存服务器的回源地址修改为所述路由设备的地址，以便在所述CDN缓存服务器回源时，路由设备接收所述CDN缓存服务器回源的数据获取请求。
3.如权利要求1所述的方法，其特征在于，所述数据获取请求中包含有所述数据的URL，所述数据存储在存储中心，
所述路由设备基于所述数据获取请求查找与所述数据获取请求对应的数据，具体包括：
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心；
所述路由设备提取所述数据所在的存储中心的域名。
4.如权利要求3所述的方法，其特征在于，所述路由设备中预先存储有数据索引表，所述索引表中存储有各存储中心与各存储中心存储的数据的对应关系；所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
所述路由设备基于所述URI在所述索引表中进行查找，确定所述数据所在的存储中心；或
所述路由设备中预先存储有各个存储中心的域名与所述数据获取请求的对应关系；所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心，具体包括：
所述路由设备基于对应关系确定所述数据获取请求对应的各个存储中心；
所述路由设备基于所述URI在各个存储中心中查找所述数据以确定所述数据所在的存储中心。
5.一种数据获取方法，其特征在于，包括：
CDN缓存服务器将接收到的数据获取请求回源给路由设备；
所述CDN缓存服务器接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据。
6.如权利要求5所述的方法，其特征在于，所述反馈消息中包含有所述数据的URL，所述数据存储在存储中心；
所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据，具体包括：
所述CDN缓存服务器基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI；
所述CDN缓存服务器根据所述URI在所述确定的存储中心中获取所述数据。
7.如权利要求5或6所述的方法，其特征在于，在所述CDN缓存服务器基于所述反馈消息获取所述数据获取请求对应的数据之后，还包括：
所述CDN缓存服务器缓存所述数据，并将所述数据发送给所述数据获取请求对应的用户终端。
8.一种路由设备，其特征在于，包括：
接收模块，用于接收CDN缓存服务器回源的数据获取请求，
查找模块，用于基于所述数据获取请求查找与所述数据获取请求对应的数据；
生成模块，用于基于查找结果生成反馈消息；
发送模块，用于将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据。
9.如权利要求8所述的路由设备，其特征在于，还包括：
修改模块，用于将所述CDN缓存服务器的回源地址修改为所述路由设备的地址，以便在所述CDN缓存服务器回源时，路由设备接收所述CDN缓存服务器回源的数据获取请求。
10.如权利要求8所述的路由设备，其特征在于，所述数据获取请求中包含有所述数据的URL，所述数据存储在存储中心，
所述查找模块，具体用于：
所述路由设备基于所述数据获取请求中的URL确定所述URL中的URI；
所述路由设备基于所述URI进行数据查找，以确定所述数据所在的存储中心；
所述路由设备提取所述数据所在的存储中心的域名。
11.一种CDN缓存服务器，其特征在于，包括：
回源模块，用于将接收到的数据获取请求回源给路由设备；
接收模块，用于接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；
获取模块，用于基于所述反馈消息获取所述数据获取请求对应的数据。
12.如权利要求11所述的CDN缓存服务器，其特征在于，所述反馈消息中包含有所述数据的URL，所述数据存储在存储中心；
所述获取模块，具体用于：
基于所述反馈消息中的URL确定所述数据所在的存储中心的域名以及所述数据的URI；
根据所述URI在所述确定的存储中心中获取所述数据。
13.如权利要求11或12所述的CDN缓存服务器，其特征在于，还包括：
发送模块，用于缓存所述数据，并将所述数据发送给所述数据获取请求对应的用户终端。
14.一种数据获取系统，其特征在于，包括：
路由设备，用于接收CDN缓存服务器回源的数据获取请求，基于所述数据获取请求查找与所述数据获取请求对应的数据；基于查找结果生成反馈消息；并将所述反馈消息发送给所述CDN缓存服务器，以使得所述CDN缓存服务器基于所述反馈消息获取到所述数据；
CDN缓存服务器，用于将接收到的数据获取请求回源给路由设备；接收路由设备基于所述数据获取请求反馈的反馈消息，其中所述反馈消息中包含有与所述数据获取请求对应的数据所在的地址；并基于所述反馈消息获取所述数据获取请求对应的数据。
CN201510423689.3A 2015-07-17 2015-07-17 一种数据获取方法和设备 Active CN106357539B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510423689.3A CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备
PCT/CN2016/089307 WO2017012475A1 (zh) 2015-07-17 2016-07-08 一种数据获取方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510423689.3A CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备

Publications (2)

Publication Number Publication Date
CN106357539A true CN106357539A (zh) 2017-01-25
CN106357539B CN106357539B (zh) 2019-06-21

Family

ID=57833615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510423689.3A Active CN106357539B (zh) 2015-07-17 2015-07-17 一种数据获取方法和设备

Country Status (2)

Country Link
CN (1) CN106357539B (zh)
WO (1) WO2017012475A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562803A (zh) * 2017-08-08 2018-01-09 上海数据交易中心有限公司 数据供应系统及方法、终端
CN108574666A (zh) * 2017-03-09 2018-09-25 贵州白山云科技有限公司 一种数据流调度方法、装置和系统
CN110875941A (zh) * 2018-09-03 2020-03-10 阿里巴巴集团控股有限公司 一种源站访问流量的调整方法及装置，电子和存储设备
CN112241335A (zh) * 2019-07-16 2021-01-19 腾讯科技（北京）有限公司 数据处理方法及装置
CN113296690A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 数据迁移方法、装置和设备
CN113676563A (zh) * 2021-08-19 2021-11-19 平安普惠企业管理有限公司 内容分发网络服务的调度方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113037869B (zh) * 2021-04-14 2022-09-30 北京百度网讯科技有限公司 用于内容分发网络系统的回源的方法和装置
CN113472852B (zh) * 2021-06-02 2023-07-25 乐视云网络技术(北京)有限公司 一种cdn节点的回源方法、装置、设备以及存储介质
CN115051876A (zh) * 2022-08-12 2022-09-13 中兴通讯股份有限公司 通信方法、xr联动通信系统、运行控制装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668518A (zh) * 2011-12-02 2012-09-12 华为技术有限公司 一种内容分发网络路由方法、系统和用户终端
US20140143301A1 (en) * 2012-11-21 2014-05-22 Netflix, Inc. Multi-cdn digital content streaming
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104702617A (zh) * 2015-03-20 2015-06-10 广东睿江科技有限公司 一种基于内容分发网络的数据分发方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668518A (zh) * 2011-12-02 2012-09-12 华为技术有限公司 一种内容分发网络路由方法、系统和用户终端
US20140143301A1 (en) * 2012-11-21 2014-05-22 Netflix, Inc. Multi-cdn digital content streaming
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104702617A (zh) * 2015-03-20 2015-06-10 广东睿江科技有限公司 一种基于内容分发网络的数据分发方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574666A (zh) * 2017-03-09 2018-09-25 贵州白山云科技有限公司 一种数据流调度方法、装置和系统
CN107562803A (zh) * 2017-08-08 2018-01-09 上海数据交易中心有限公司 数据供应系统及方法、终端
CN110875941A (zh) * 2018-09-03 2020-03-10 阿里巴巴集团控股有限公司 一种源站访问流量的调整方法及装置，电子和存储设备
CN112241335A (zh) * 2019-07-16 2021-01-19 腾讯科技（北京）有限公司 数据处理方法及装置
CN113296690A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 数据迁移方法、装置和设备
CN113676563A (zh) * 2021-08-19 2021-11-19 平安普惠企业管理有限公司 内容分发网络服务的调度方法、装置、设备及存储介质
CN113676563B (zh) * 2021-08-19 2022-11-08 平安普惠企业管理有限公司 内容分发网络服务的调度方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106357539B (zh) 2019-06-21
WO2017012475A1 (zh) 2017-01-26

Similar Documents

Publication Publication Date Title
CN106357539A (zh) 一种数据获取方法和设备
CN109522330B (zh) 基于区块链的云平台数据处理方法、装置、设备及介质
CN106933871B (zh) 短链接处理方法、装置及短链接服务器
CN111405019B (zh) 数据处理方法、装置、计算机设备和存储介质
CN103493455B (zh) 使用经修改的主机名的全球流量管理
WO2021253889A1 (zh) 负载均衡方法、装置、代理设备、缓存设备及服务节点
CN110430274A (zh) 一种基于云存储的文件下载方法及系统
KR20130088774A (ko) 분할 콘텐트 전달 시스템 및 방법
CN108076142A (zh) 一种基于cdn技术加速用户请求的方法及系统
CN102238137A (zh) 一种下载方法、系统和装置
CN107819891A (zh) 数据处理方法、装置、计算机设备和存储介质
CN102630378A (zh) 基于描述文件的个体化数据通信
CN109729183A (zh) 请求处理方法、装置、设备及存储介质
CN106453460B (zh) 一种文件分发方法、装置和系统
CN103873602A (zh) 一种网络资源命名方法与生成装置
US20120096136A1 (en) Method and apparatus for sharing contents using information of group change in content oriented network environment
CN109376172A (zh) 基于区块链的数据获取方法和系统
US12010164B2 (en) System for providing exact communication delay guarantee of request response for distributed service
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN109558378A (zh) 文件管理方法、装置、设备及存储介质
CN107580021A (zh) 一种文件传输的方法和装置
CN107070988A (zh) 报文处理方法及装置
KR20200098619A (ko) 강화된 온라인 프라이버시
WO2022188596A1 (zh) 接入控制与数据转发方法、装置、电子设备及存储介质
CN105357260B (zh) 实现虚拟桌面的系统、vdi数据缓存方法和vdi缓存设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211110

Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Taobao (China) Software Co., Ltd

Address before: P.O. Box 847, 4th floor, Grand Cayman capital building, British Cayman Islands

Patentee before: Alibaba Group Holdings Limited