CN104967651B - 基于cdn架构的数据推送、存储、下载方法和装置 - Google Patents

Abstract

一种基于CDN架构的数据推送方法，包括：推送服务器将最新上传到数据中心的数据的数据标识推送给所述CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据；推送服务器将数据在各超级CDN节点的存储分布信息推送给所述CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据所述存储分布信息选择超级CDN节点作为数据拉取源。上述方法可提高CDN节点的数据访问命中率。此外，还提供一种基于CDN架构的数据推送装置以及基于CDN架构的数据存储、下载方法和装置。

Description

基于CDN架构的数据推送、存储、下载方法和装置

技术领域

本发明涉及网络技术领域，特别是涉及基于CDN架构的数据推送方法和装置、基于CDN架构的数据存储方法和装置以及基于CDN架构的数据下载方法和装置。

背景技术

CDN的全称是Content Delivery Network，即内容分发网络，其目的是通过现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需要的内容，提高用户访问网站的响应速度，解决网络拥塞问题。从技术上全面解决由于网络带宽小用户访问量大网点分布不均等原因所造成的用户访问网站响应速度慢的问题。

目前常用的CDN架构由部署在各地的CDN节点和数据中心(Data Center)组成。CDN节点上缓存网站内容，当终端用户访问网站时，通过DNS技术将用户访问解析到离终端用户最近的最可靠的CDN节点上，实现就近访问，从而加速访问速度，提升用户的访问体验。当CDN节点缓存的数据没有命中访问请求时，CDN节点向数据中心拉取请求访问的数据，将拉取的数据缓存到本地，并将数据返回给终端。

数据中心是由多台服务器构成的网络基地，其可以提供高速的网络服务，这需要较优的硬件资源、带宽资源来支持，并需要耗费较高的维护成本。因此，数据中心摊派到数据访问形成的每一单位网络流量上的流量成本也比较高。

现有的CDN架构中，CDN节点的数据访问命中率与业务特征强相关联，若对同一数据的访问较为集中，即一旦出现对某一数据的访问则在接下来的一段时间内该数据的访问频率较高，则CDN节点的数据访问命中率高；反之，则CDN节点的数据访问命中率低。

而当CDN节点缓存的数据没有命中访问请求时，CDN节点需要向数据中心拉取数据，从而产生昂贵的数据中心的网络流量。

因此，如何提高CDN架构中CDN节点的数据访问命中率，减少数据中心的网络流量是亟需解决的问题。

发明内容

基于此，有必要提供可提高CDN架构中CDN节点的数据访问命中率的一种基于CDN架构的数据推送方法和装置、一种基于CDN架构的数据存储方法和装置以及一种基于CDN架构的数据下载方法和装置。

一种基于CDN架构的数据推送方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

推送服务器接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

推送服务器将所述数据标识推送给所述CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据；

推送服务器将数据在各超级CDN节点的存储分布信息推送给所述CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据所述存储分布信息选择超级CDN节点作为数据拉取源。

一种基于CDN架构的数据存储方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

超级CDN节点接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

超级CDN节点从所述数据中心拉取对应数据，并将所述对应数据存储到该超级CDN节点的数据缓存池中；

超级CDN接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从该超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给所述边缘CDN节点。

一种基于CDN架构的数据下载方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

边缘CDN节点接收来自客户端的数据下载请求；

边缘CDN节点检验本地缓存池中是否存在所述客户端请求下载的数据；

若不存在，判断所述请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取所述请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于所述CDN架构中的超级CDN节点中；

将所述请求下载的数据返回给所述客户端。

一种基于CDN架构的数据推送装置，所述CDN架构包括边缘CDN节点和超级CDN节点，包括：

上传数据标识接收模块，用于接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

数据标识推送模块，用于将所述数据标识推送给所述CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据；

分布信息推送模块，用于将数据在各超级CDN节点的存储分布信息推送给所述CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据所述存储分布信息选择超级CDN节点作为数据拉取源。

一种基于CDN架构的数据存储装置，所述CDN架构包括边缘CDN节点和超级CDN节点，设置于超级CDN节点中，包括：

推送数据标识接收模块，用于接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

中心数据拉取模块，用于从所述数据中心拉取对应数据；

中心数据存储模块，用于将所述对应数据存储到该超级CDN节点的数据缓存池中；

下载请求处理模块，用于接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从该超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给所述边缘CDN节点。

一种基于CDN架构的数据下载装置，所述CDN架构包括边缘CDN节点和超级CDN节点，设置于边缘CDN节点中，包括：

下载请求接收模块，用于接收来自客户端的数据下载请求；

检验模块，用于检验本地缓存池中是否存在所述客户端请求下载的数据；

超级数据拉取模块，用于若本地缓存池中不存在所述请求下载的数据，判断所述请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取所述请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于所述CDN架构中的超级CDN节点中；

数据返回模块，用于将所述请求下载的数据返回给所述客户端。

上述基于CDN架构的数据存储方法和装置，使得超级CDN节点在接收推送服务器实时发送上传服务器最新上传到数据中心数据的数据标识后，从数据中心拉取对应数据并将数据存储到本地数据缓存池中，从而在边缘CDN节点应客户端的请求向超级CDN节点请求下载最近上传的数据时，超级CDN节点可从本地缓存池中查找数据返回给边缘CDN节点，并通过边缘CDN节点将数据返回给客户端，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

上述基于CDN架构的数据下载方法和装置，使得边缘CDN节点接收来自客户端的数据下载请求而本地缓存池中不存在对应数据时，直接去存储有该对应数据的超级CDN节点拉取数据，而不是去数据中心拉取数据，从而在访问最近上传的数据时，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

上述基于CDN架构的数据推送方法和装置，使得推送服务器将上传服务器最新上传到数据中心的数据的数据标识推送给CDN架构中的某一个超级CDN节点，并将数据在各超级CDN节点的存储分布信息推送给CDN架构中的边缘CDN节点，从而超级CDN节点，使得超级CDN节点从数据中心拉取对应数据并存储该对应数据到本地缓存池中，而边缘CDN节点在应客户端的请求拉取最近上传的数据时，则可根据该存储分布信息选择存储有该数据的超级CDN节点，到该超级CDN节点拉取该数据，并进一步将数据返回给客户端，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

附图说明

图1为一个实施例中可运行本申请所述的基于CDN架构的数据推送方法、基于CDN架构的数据存储方法和基于CDN架构的数据下载方法的网络示意图；

图2A为一个实施例中的基于CDN架构的数据推送方法的流程示意图；

图2B为一个实施例中图2A中的步骤S204的流程示意图；

图3为一个实施例中的基于CDN架构的数据存储方法的流程示意图；

图4为一个实施例中的基于CDN架构的数据下载方法的流程示意图；

图5为一个实施例中的基于CDN架构的数据推送方法、基于CDN架构的数据存储方法和基于CDN架构的数据下载方法中各执行主体在数据推送、存储和下载过程中相互之间的数据交互时序图；

图6为一个实施例中的基于CDN架构的数据推送装置的结构示意图；

图7为一个实施例中的基于CDN架构的数据存储装置的结构示意图；

图8为一个实施例中的基于CDN架构的数据下载装置的结构示意图；

图9A为一个实施例中的基于CDN架构的数据下载装置的结构示意图；

图9B为一个实施例中的基于CDN架构的数据下载装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中可运行本申请所述的基于CDN架构的数据推送方法、基于CDN架构的数据存储方法和基于CDN架构的数据下载方法的网络示意图。如图1所示，该网络中部署有数据中心、超级CDN节点、边缘CDN节点、上传服务器和推送服务器，数据中心、超级CDN节点和边缘CDN节点构成本申请所述的CDN架构，上传服务器和推送服务器可包括于数据中心之内或独立于数据中心。其中，边缘CDN节点和超级CDN节点可由一台或多台服务器构成，在一个实施例中，超级CDN节点的处理能力和存储空间远远超出边缘CDN节点的存储空间，而在整个网络中，边缘CDN节点的数量远大于超级CDN节点的数量。

在一个实施例中，上传服务器上传数据到数据中心，并将上传的数据的标识发送给推送服务器。推送服务器上存储用于实现本申请所述的基于CDN架构的数据推送方法的软件指令，超级CDN节点上存储用于实现本申请所述的基于CDN架构的数据存储方法的软件指令，边缘CDN节点上存储用于实现本申请所述的基于CDN架构的数据下载方法的软件指令，推送服务器、超级CDN节点和边缘CDN节点分别执行各自的软件指令，协同完成整个CDN中数据的推送、存储和下载。

如图2A所示，在一个实施例中，一种基于CDN架构的数据推送方法，该CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

步骤S202，推送服务器接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据。

在一个实施例中，客户端向上传服务器上传数据，上传服务器接收客户端上传的数据，并将数据上传到数据中心，数据中心存储上传的数据；同时上传服务器还实时将其上传的数据的标识发送给推送服务器。

步骤S204，推送服务器将数据标识推送给CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据。

CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，即，CDN架构中的超级CDN节点存储最近一段时间内上传到数据中心的所有数据，所存储的最近数据的数据量以超级CDN节点可存储的数据量为准，且各超级CDN节点之间不重复存储最近上传的数据。

在一个实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；如图2B所示，步骤S204包括以下步骤：

步骤S224，推送服务器将数据标识推送给最近数据缓存池尚未满载的一个超级CDN节点。

在一个实施例中，推送服务器可维护数据在超级CDN节点中的存储分布信息以及各个超级CDN节点的最近数据缓存池的剩余可用存储空间，选择其中最近数据缓存池当前剩余可用存储空间最多的超级CDN节点，将数据标识推送给该超级CDN节点。在另一个实施例中，推送服务器可采用一致性哈希算法，选择CDN架构中的一个超级CDN节点，将数据标识推送给该超级CDN节点，使得各个超级CDN节点的数据存储量达到平衡。

步骤S244，若所有超级CDN节点的最近数据缓存池都满载，则将数据标识推送给最近数据缓存池中存储有最旧数据的超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并将该对应数据覆盖最近数据缓存池中的最旧数据。

在一个实施例中，最旧数据指的是上传时间最早的数据。

本实施例中，超级CDN节点从数据中心拉取最新上传的数据，并将最新上传的数据覆盖最旧数据，从而使得整个CDN架构中的超级CDN总是存储着最近上传到数据中心的所有数据。

步骤S206，推送服务器将数据在各超级CDN节点的存储分布信息推送给CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据数据的存储分布信息选择超级CDN节点作为数据拉取源。

超级CDN节点中用于存储最近上传的数据的存储空间是相对固定的，而单位时间内上传到数据中心的数据一般也是相对稳定的，因此，超级CDN节点中存储的最近数据的所属的最近时段的时长大概为：超级CDN节点中用于存储最近上传的数据的存储空间的大小与单位时间内上传到数据中心的数据的平均数据量大小之间的比值，即，超级CDN节点中用于存储最近上传的数据的存储空间的大小/单位时间内上传到数据中心的数据的平均数据量大小，记为N天。因此，上述的最近预设时长段的时长可被预先设置为N天。

推送服务器可将数据标识与超级CDN节点的地址的对应关系推送给CDN边缘CDN节点，在该对应关系中某一数据的数据标识与存储该数据的CDN节点的地址相对应。边缘CDN节点可维护一张数据存储分布信息表，用于存储数据标识与超级CDN节点地址的对应关系。在下载最近预设时长段上传的数据时，边缘CDN节点可在该数据存储分布信息表中查询数据所存储的超级CDN节点的地址，并根据该地址下载数据。

如图3所示，在一个实施例中，一种基于CDN架构的数据存储方法，CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

步骤S302，超级CDN节点接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据。

步骤S304，超级CDN节点从数据中心拉取对应数据，并将该对应数据存储到该超级CDN节点的数据缓存池中。

步骤S306，超级CDN接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从该超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给边缘CDN节点。

在一个实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；本实施例中，超级CDN节点将该对应数据存储到该超级CDN节点的数据缓存池中的步骤包括：超级CDN节点在该超级CDN节点的最近数据缓存池有足够空间存储该对应数据时，将该对应数据添加到该最近数据缓存池中，否则，在该最近数据缓存池中将该对应数据覆盖最旧数据。

本实施例中，超级CDN节点从该超级CDN节点的数据缓存池中查找请求下载的数据的步骤包括：超级CDN节点从该超级CDN节点的最近数据缓存池中查找请求下载的数据。

在一个实施例中，下载请求中包含数据标识，超级CDN节点可从该超级CDN节点的最近数据缓存池中查找该数据标识对应的数据。

在一个实施例中，超级CDN节点中还设置有用于存储热点数据的热点数据缓存池；上述基于CDN架构的数据存储方法还包括以下步骤：超级CDN接收来自边缘CDN节点的请求下载最近预设时长段以前上传的数据的下载请求，从该超级CDN节点的热点数据缓存池中查找请求下载的数据，若查找成功，则将查找到的数据返回给边缘CDN节点，若查找失败，则向数据中心拉取请求下载的数据，将拉取的数据存储到自身的热点数据缓存池中，并将拉取的数据返回给边缘CDN节点。当超级CDN节点从自身的最近数据缓存池中未查找到请求下载的数据时，也可以向数据中心拉取请求下载的数据，将拉取的数据存储到自身的热点数据缓存池中，并将拉取的数据返回给边缘CDN节点。

本实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池和用于存储热点数据的热点数据缓存池，从而可确保针对最近上传数据和热点数据都能达到很高的命中率。

如图4所示，一种基于CDN架构的数据下载方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

步骤S402，边缘CDN节点接收来自客户端的数据下载请求。

客户端一般向邻近的边缘CDN节点发送数据下载请求，因此，边缘CDN节点一般为其接收到的数据下载请求的发送客户端的邻近的边缘CDN节点。

步骤S404，边缘CDN节点检验本地缓存池中是否存在客户端请求下载的数据。若存在，则将请求下载的数据返回给客户端。

步骤S406，若不存在，判断请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于CDN架构中的超级CDN节点中。

CDN架构中的超级CDN节点存储最近一段时间内上传到数据中心的所有数据，所存储的最近数据的数据量以超级CDN节点可存储的数据量为准，且各超级CDN节点之间不重复存储最近上传的数据。

在一个实施例中，上述基于CDN架构的数据下载方法还包括以下步骤：边缘CDN节点接收推送服务器推送的最近上传到数据中心的数据在CDN架构中的超级CDN节点中的存储分布信息；本实施例中，边缘CDN节点根据该存储分布信息查询存储了请求下载的数据的超级CDN节点。

在一个实施例中，边缘CDN节点与超级CDN节点具有隶属关系，边缘CDN节点所隶属的超级CDN节点也可称为该边缘CDN节点的上一级超级CDN节点。当客户端请求下载的数据是最近预设时长段以前上传的数据，则边缘CDN节点向其上一级超级CDN节点拉取请求下载的数据，使得该上一级超级CDN节点向其返回请求下载的数据。

步骤S408，将请求下载的数据返回给客户端。

在一个实施例中，上述基于CDN架构的数据下载方法还包括步骤：边缘CDN节点将从超级CDN节点拉取的数据保存在本地缓存池中，从而可提高边缘CDN节点针对最近访问数据的命中率。

以下将上述的基于CDN架构的数据推送方法中推送服务器的数据处理过程、基于CDN架构的数据存储方法中超级CDN节点的数据处理过程和基于CDN架构的数据下载方法中边缘CDN节点的数据处理过程，按照实际的数据处理时序融合在相同的实施例中进行说明。

图5为一个实施例中上述的基于CDN架构的数据推送方法、基于CDN架构的数据存储方法和基于CDN架构的数据下载方法中各执行主体在数据推送、存储和下载过程中相互之间的数据交互时序图。

本实施例中，边缘CDN节点与超级CDN节点之间具有隶属关系，边缘CDN节点所隶属的超级CDN节点也可称为该边缘CDN节点的上一级超级CDN节点。超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池和用于存储热点数据的热点数据缓存池。

如图5所示，上述的基于CDN架构的数据推送方法、基于CDN架构的数据存储方法和基于CDN架构的数据下载方法中各执行主体在数据推送、存储和下载过程中，执行以下步骤：

(1.1)上传服务器将客户端上传的数据上传到数据中心。

(1.2)上传服务器向推送服务器实时发送最新上传到数据中心的数据的数据标识。

(2.1)推送服务器按照预设的推送策略将数据标识推送给CDN架构中的一个超级CDN节点。

推送服务器可将数据标识推送给最近数据缓存池尚未满载的一个超级CDN节点。在一个实施例中，推送服务器可维护数据在超级CDN节点中的存储分布信息以及各个超级CDN节点的最近数据缓存池的剩余可用存储空间，选择其中最近数据缓存池当前剩余可用存储空间最多的超级CDN节点，将数据标识推送给该超级CDN节点。在另一个实施例中，推送服务器可采用一致性哈希算法，选择CDN架构中的一个超级CDN节点，将数据标识推送给该超级CDN节点。

而若所有超级CDN节点的最近数据缓存池都满载，则将数据标识推送给最近数据缓存池中存储有最旧数据的超级CDN节点。

(2.2)超级CDN节点从数据中心拉取上传服务器推送的数据标识对应数据。

(2.3)超级CDN节点将该对应数据存储到自身的最近数据缓存池中。

若自身的最近数据缓存池有足够空间存储该对应数据，则超级CDN节点将该对应数据添加到该最近数据缓存池中，否则，在该最近数据缓存池中将该对应数据覆盖最旧数据。

从而，CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，即，CDN架构中的超级CDN节点存储最近一段时间内上传到数据中心的所有数据，所存储的最近数据的数据量以超级CDN节点可存储的数据量为准，且各超级CDN节点之间不重复存储最近上传的数据。

(3.1)推送服务器将最近上传到数据中心的数据在各超级CDN节点的存储分布信息推送给CDN架构中的边缘CDN节点。

(3.2)边缘CDN节点存储该存储分布信息。

(4.1)客户端向其邻近的边缘CDN节点发送数据下载请求。

(4.2)边缘CDN节点检验本地缓存池中是否存在客户端请求下载的数据(以下称为目标数据)，若不存在，则判断目标数据是否为最近预设时长段上传的数据。

若本地缓存池中存在目标数据，则边缘CDN将客户端将目标数据返回给客户端。

该最近预设时长段的时长可被预先设置为：CDN架构中所有超级CDN节点的最近数据缓存池的总存储空间大小与单位时间内上传到数据中心的数据的平均数据量大小的比值。

(5.1)若目标数据为最近预设时长段上传的数据，则边缘CDN节点根据推送服务器推送的最近上传到数据中心的数据在各超级CDN节点的存储分布信息查询存储了目标数据的超级CDN节点(图中称为目标CDN节点)。

边缘CDN节点向存储了目标数据的超级CDN节点发送请求下载目标数据的最近数据下载请求。

(5.2)若目标数据为最近预设时长段以前上传的数据，则边缘CDN节点向其上一级超级CDN节点发送请求下载目标数据的热点数据下载请求。

(6.1)超级CDN节点接收到来自边缘CDN节点的最近数据下载请求后，从自身的最近数据缓存池中查找目标数据。

若查找失败，且超级CDN节点为该边缘CDN节点的上一级超级CDN节点，则超级CDN节点向数据中心拉取目标数据，将目标数据存储到自身的热点数据缓存池中。

若查找失败，而该超级CDN节点不是该边缘CDN节点的上一级超级CDN节点，则向该边缘CDN返回失败结果。边缘CDN节点拉取到失败结果后，向其上一级超级CDN节点发送请求下载目标数据的热点数据下载请求。

(6.2)超级CDN节点接收到热点数据下载请求后，在自身的热点数据缓存池中查找目标数据。

(6.3)若未在热点数据缓存池中查找到目标数据，则超级CDN节点向数据中心拉取目标数据。

(6.4)将目标数据存储到自身的热点数据缓存池中。

(7)超级CDN节点向边缘CDN节点返回目标数据。

(8)边缘CDN节点将目标数据返回给客户端。

如图6所示，在一个实施例中，一种基于CDN架构的数据推送装置，该CDN架构包括边缘CDN节点和超级CDN节点，该装置可设置于推送服务器，包括上传数据标识接收模块602、数据标识推送模块604和分布信息推送模块606，其中：

上传数据标识接收模块602用于接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据。

在一个实施例中，客户端向上传服务器上传数据，上传服务器接收客户端上传的数据，并将数据上传到数据中心，数据中心存储上传的数据；同时上传服务器还实时将其上传的数据的标识发送给推送服务器。

数据标识推送模块604用于将数据标识推送给CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据。

CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，即，CDN架构中的超级CDN节点存储最近一段时间内上传到数据中心的所有数据，所存储的最近数据的数据量以超级CDN节点可存储的数据量为准，且各超级CDN节点之间不重复存储最近上传的数据。

在一个实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；本实施例中，数据标识推送模块604可将数据标识推送给最近数据缓存池尚未满载的一个超级CDN节点。具体的，在一个实施例中，数据标识推送模块604可维护数据在超级CDN节点中的存储分布信息以及各个超级CDN节点的最近数据缓存池的剩余可用存储空间，选择其中最近数据缓存池当前剩余可用存储空间最多的超级CDN节点，将数据标识推送给该超级CDN节点。在另一个实施例中，数据标识推送模块604可采用一致性哈希算法，选择CDN架构中的一个超级CDN节点，将数据标识推送给该超级CDN节点，使得各个超级CDN节点的数据存储量达到平衡。

若所有超级CDN节点的最近数据缓存池都满载，则数据标识推送模块604可将数据标识推送给最近数据缓存池中存储有最旧数据的超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并将该对应数据覆盖最近数据缓存池中的最旧数据。

在一个实施例中，最旧数据指的是上传时间最早的数据。

本实施例中，超级CDN节点从数据中心拉取最新上传的数据，并将最新上传的数据覆盖最旧数据，从而使得整个CDN架构中的超级CDN总是存储着最近上传到数据中心的所有数据。

分布信息推送模块606用于将数据在各超级CDN节点的存储分布信息推送给CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据数据的存储分布信息选择超级CDN节点作为数据拉取源。

超级CDN节点中用于存储最近上传的数据的存储空间是相对固定的，而单位时间内上传到数据中心的数据一般也是相对稳定的，因此，超级CDN节点中存储的最近数据的所属的最近时段的时长大概为：超级CDN节点中用于存储最近上传的数据的存储空间的大小与单位时间内上传到数据中心的数据的平均数据量大小之间的比值，即，超级CDN节点中用于存储最近上传的数据的存储空间的大小/单位时间内上传到数据中心的数据的平均数据量大小，记为N天。因此，上述的最近预设时长段的时长可被预先设置为N天。

在一个实施例中，分布信息推送模块606可将数据标识与超级CDN节点的地址的对应关系推送给边缘CDN节点，在该对应关系中某一数据的数据标识与存储该数据的CDN节点的地址相对应。边缘CDN节点可维护一张数据存储分布信息表，用于存储数据标识与超级CDN节点地址的对应关系。在下载最近预设时长段上传的数据时，边缘CDN节点可在该数据存储分布信息表中查询数据所存储的超级CDN节点的地址，并根据该地址下载数据。

如图7所示，在一个实施例中，一种基于CDN架构的数据存储装置，CDN架构包括边缘CDN节点和超级CDN节点，该装置设置于超级CDN节点中，包括推送数据标识接收模块702、中心数据拉取模块704、中心数据存储模块706和下载请求处理模块708，其中：

推送数据标识接收模块702用于接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据。

中心数据拉取模块704用于从数据中心拉取对应数据。

中心数据存储模块706用于将该对应数据存储到该超级CDN节点的数据缓存池中。

下载请求处理模块708用于接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从自身所在的超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给边缘CDN节点。

在一个实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；本实施例中，中心数据存储模块706用于在自身所在的超级CDN节点的最近数据缓存池有足够空间存储该对应数据时，将该对应数据添加到该最近数据缓存池中，否则，在该最近数据缓存池中将该对应数据覆盖最旧数据。

本实施例中，下载请求处理模块708接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求后，从自身所在的超级CDN节点的最近数据缓存池中查找请求下载的数据。

在一个实施例中，下载请求中包含数据标识，下载请求处理模块708可从自身所在超级CDN节点的最近数据缓存池中查找该数据标识对应的数据。

在一个实施例中，超级CDN节点中还设置有用于存储热点数据的热点数据缓存池；下载请求处理模块708还用于接收来自边缘CDN节点的请求下载最近预设时长段以前上传的数据的下载请求，从自身所在超级CDN节点的热点数据缓存池中查找请求下载的数据，若查找成功，则将查找到的数据返回给边缘CDN节点，若查找失败，则向数据中心拉取请求下载的数据，将拉取的数据存储到自身的热点数据缓存池中，并将拉取的数据返回给边缘CDN节点。当下载请求处理模块708从自身所在的超级CDN节点的最近数据缓存池中未查找到请求下载的数据时，也可以向数据中心拉取请求下载的数据，将拉取的数据存储到自身所在的超级CDN节点的热点数据缓存池中，并将拉取的数据返回给边缘CDN节点。

本实施例中，超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池和用于存储热点数据的热点数据缓存池，从而可确保针对最近上传数据和热点数据都能达到很高的命中率。

如图8所示，一种基于CDN架构的数据下载装置，所述CDN架构包括边缘CDN节点和超级CDN节点，该装置设置于边缘CDN节点，包括下载请求接收模块802、检验模块804、超级数据拉取模块806和数据返回模块808，其中：

下载请求接收模块802用于接收来自客户端的数据下载请求。

客户端一般向邻近的边缘CDN节点发送数据下载请求，因此，边缘CDN节点一般为其接收到的数据下载请求的发送客户端的邻近的边缘CDN节点。

检验模块804用于检验本地缓存池中是否存在客户端请求下载的数据。

超级数据拉取模块806用于若本地缓存池中不存在请求下载的数据，判断请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于CDN架构中的超级CDN节点中。

CDN架构中的超级CDN节点存储最近一段时间内上传到数据中心的所有数据，所存储的最近数据的数据量以超级CDN节点可存储的数据量为准，且各超级CDN节点之间不重复存储最近上传的数据。

如图9A所示，在一个实施例中，上述基于CDN架构的数据下载装置还包括分布信息接收模块902和分布信息保存模块904，其中：分布信息接收模块用于接收推送服务器推送的最近上传到数据中心的数据在CDN架构中的超级CDN节点中的存储分布信息，分布信息保存模块用于保存该存储分布信息；本实施例中，超级数据拉取模块806可根据该存储分布信息查询存储了请求下载的数据的超级CDN节点。

在一个实施例中，边缘CDN节点与超级CDN节点具有隶属关系，边缘CDN节点所隶属的超级CDN节点也可称为该边缘CDN节点的上一级超级CDN节点。当客户端请求下载的数据是最近预设时长段以前上传的数据，则超级数据拉取模块806向其上一级超级CDN节点拉取请求下载的数据，使得该上一级超级CDN节点向其返回请求下载的数据。

数据返回模块808用于将请求下载的数据返回给客户端。

如图9B所示，在一个实施例中，上述基于CDN架构的数据下载装置还包括超级数据存储模块906，用于将从超级CDN节点拉取的数据保存在本地缓存池中，从而可提高边缘CDN节点针对最近访问数据的命中率。

上述基于CDN架构的数据存储方法和装置，使得超级CDN节点在接收推送服务器实时发送上传服务器最新上传到数据中心数据的数据标识后，从数据中心拉取对应数据并将数据存储到本地数据缓存池中，从而在边缘CDN节点应客户端的请求向超级CDN节点请求下载最近上传的数据时，超级CDN节点可从本地缓存池中查找数据返回给边缘CDN节点，并通过边缘CDN节点将数据返回给客户端，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

上述基于CDN架构的数据下载方法和装置，使得边缘CDN节点接收来自客户端的数据下载请求而本地缓存池中不存在对应数据时，直接去存储有该对应数据的超级CDN节点拉取数据，而不是去数据中心拉取数据，从而在访问最近上传的数据时，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

上述基于CDN架构的数据推送方法和装置，使得推送服务器将上传服务器最新上传到数据中心的数据的数据标识推送给CDN架构中的某一个超级CDN节点，并将数据在各超级CDN节点的存储分布信息推送给CDN架构中的边缘CDN节点，从而超级CDN节点，使得超级CDN节点从数据中心拉取对应数据并存储该对应数据到本地缓存池中，而边缘CDN节点在应客户端的请求拉取最近上传的数据时，则可根据该存储分布信息选择存储有该数据的超级CDN节点，到该超级CDN节点拉取该数据，并进一步将数据返回给客户端，在CDN节点层即几乎可达到数据访问请求的百分百命中，而不需要到数据中心拉取数据，可减少数据中心的网络流量，节约CDN架构中数据下载分发的整体成本。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种基于CDN架构的数据推送方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

推送服务器接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

推送服务器将所述数据标识推送给所述CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

推送服务器将数据在各超级CDN节点的存储分布信息推送给所述CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据所述存储分布信息选择超级CDN节点作为数据拉取源。

2.根据权利要求1所述的基于CDN架构的数据推送方法，其特征在于，所述超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；

所述推送服务器将所述数据标识推送给所述CDN架构中的一个超级CDN节点的步骤包括：

推送服务器将所述数据标识推送给最近数据缓存池尚未满载的一个超级CDN节点，若所有超级CDN节点的最近数据缓存池都满载，则将所述数据标识推送给最近数据缓存池中存储有最旧数据的超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并将该对应数据覆盖最近数据缓存池中的所述最旧数据。

3.一种基于CDN架构的数据存储方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

超级CDN节点接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

超级CDN节点根据所述数据标识从所述数据中心拉取对应数据，并将所述对应数据存储到该超级CDN节点的数据缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

超级CDN接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从该超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给所述边缘CDN节点。

4.根据权利要求3所述的基于CDN架构的数据存储方法，所述超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；

所述超级CDN节点将所述对应数据存储到该超级CDN节点的数据缓存池中的步骤包括：

超级CDN节点在该超级CDN节点的最近数据缓存池有足够空间存储所述对应数据时，将所述对应数据添加到该最近数据缓存池中，否则，在该最近数据缓存池中将所述对应数据覆盖最旧数据。

5.一种基于CDN架构的数据下载方法，所述CDN架构包括边缘CDN节点和超级CDN节点，包括以下步骤：

边缘CDN节点接收来自客户端的数据下载请求；

边缘CDN节点检验本地缓存池中是否存在所述客户端请求下载的数据；

若不存在，判断所述请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取所述请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于所述CDN架构中的超级CDN节点中，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

将所述请求下载的数据返回给所述客户端。

6.根据权利要求5所述的基于CDN架构的数据下载方法，其特征在于，还包括步骤：

边缘CDN节点将从超级CDN节点拉取的数据保存在本地缓存池中。

7.一种基于CDN架构的数据推送装置，所述CDN架构包括边缘CDN节点和超级CDN节点，其特征在于，包括：

上传数据标识接收模块，用于接收上传服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

数据标识推送模块，用于将所述数据标识推送给所述CDN架构中的一个超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并存储到该超级CDN节点的缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

分布信息推送模块，用于将数据在各超级CDN节点的存储分布信息推送给所述CDN架构中的边缘CDN节点，使得边缘CDN节点在拉取最近预设时长段上传的数据时根据所述存储分布信息选择超级CDN节点作为数据拉取源。

8.根据权利要求7所述的基于CDN架构的数据推送装置，其特征在于，所述超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；

所述数据标识推送模块用于将所述数据标识推送给最近数据缓存池尚未满载的一个超级CDN节点，若所有超级CDN节点的最近数据缓存池都满载，则将所述数据标识推送给最近数据缓存池中存储有最旧数据的超级CDN节点，使得该超级CDN节点从数据中心拉取对应数据并将该对应数据覆盖最近数据缓存池中的所述最旧数据。

9.一种基于CDN架构的数据存储装置，所述CDN架构包括边缘CDN节点和超级CDN节点，其特征在于，设置于超级CDN节点中，包括：

推送数据标识接收模块，用于接收推送服务器实时发送的数据标识，该数据标识对应的数据为上传服务器最新上传到数据中心以存储在数据中心的数据；

中心数据拉取模块，用于根据所述数据标识从所述数据中心拉取对应数据；

中心数据存储模块，用于将所述对应数据存储到该超级CDN节点的数据缓存池中，从而使得所述CDN架构中的超级CDN节点共同存储最近上传到数据中心的数据的一份全量数据，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

下载请求处理模块，用于接收来自边缘CDN节点的请求下载最近预设时长段上传的数据的下载请求，从自身所在超级CDN节点的数据缓存池中查找请求下载的数据，将查找到的数据返回给所述边缘CDN节点。

10.根据权利要求9所述的基于CDN架构的数据存储装置，所述超级CDN节点中设置有用于存储最近上传的数据的最近数据缓存池；

所述中心数据存储模块用于在自身所在的超级CDN节点的最近数据缓存池有足够空间存储所述对应数据时，将所述对应数据添加到该最近数据缓存池中，否则，在该最近数据缓存池中将所述对应数据覆盖最旧数据。

11.一种基于CDN架构的数据下载装置，所述CDN架构包括边缘CDN节点和超级CDN节点，其特征在于，设置于边缘CDN节点中，包括：

下载请求接收模块，用于接收来自客户端的数据下载请求；

检验模块，用于检验本地缓存池中是否存在所述客户端请求下载的数据；

超级数据拉取模块，用于若本地缓存池中不存在所述请求下载的数据，判断所述请求下载的数据是否为最近预设时长段上传的数据，若是，则查询存储所述请求下载的数据的超级CDN节点，向该超级CDN节点拉取所述请求下载的数据，最近上传到数据中心的数据的一份全量数据分散存储于所述CDN架构中的超级CDN节点中，所述CDN架构中的各超级CDN节点之间不重复存储最近上传到数据中心的数据；

数据返回模块，用于将所述请求下载的数据返回给所述客户端。

12.根据权利要求11所述的基于CDN架构的数据下载装置，其特征在于，还包括：

超级数据存储模块，用于将从超级CDN节点拉取的数据保存在本地缓存池中。