CN103166978A - 数据获取方法及装置 - Google Patents

Abstract

本发明公开了一种数据获取方法及装置，该方法应用于多个CDN互联互通，包括：下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。采用本发明能够解决相关技术中下游CDN可能会重复获取和缓存相同的内容的问题。

Description

数据获取方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据获取方法及装置。

背景技术

随着视频和多媒体内容在网络中的传输量快速的增长，单独的CDN(Content DistributionNetwork，内容分发网络)由于受到业务覆盖范围、传输能力等因素的限制，不能完全满足降低网络传输内容成本、提高用户体验效果以及内容传输的稳定性等需求。CDNI(ContentDistribution Network Interconnection，内容分发网络互联互通接口)为不同CDN之间建立互联互通的关系提供了统一的接口协议。通过CDNI，CDN运营商之间内容业务代理关系，而内容运营商只需要和一个(上游)CDN运营商签订代理业务协议，其他与该CDN建立互联互通关系的(下游)CDN运营商就可以为其代理传输业务，因此大大扩展其业务覆盖范围以及业务能力，例如，当漫游的用户请求下载内容时，运营商不需要考虑用户的当前接入位置，而是通过和用户连接的CDN为用户提供内容下载。

图1是CDNI的第一种应用场景。在图1中，上游CDN运营商102为内容运营商101提供内容传输业务，上游CDN运营商102和下游CDN运营商103建立互联互通关系后，下游CDN运营商103负责代理传输内容，为用户终端104提供内容业务。

CDNI也支持更为复杂的互联互通场景，例如，下游CDN运营商可以同时和几个上游CDN运营商建立互联互通关系，而这些上游CDN运营商可能和同一个内容运营商签订了传输代理协议；又例如，下游CDN运营商同时也可能是其他CDN运营商的上游CDN运营商，因此它有可能和它的上游CDN运营商一样，和相同的内容运营商签订了传输代理协议。

图2是CDNI的第二种应用场景。内容运营商201和上下游CDN运营商202、203都签订了传输代理协议，下游CDN运营商203为用户终端204提供内容业务。

图3是CDNI的第三种应用场景。内容运营商301和两个上游CDN运营商302和303签订传输代理协议，下游CDN运营商304和上游CDN运营商302和303建立互联互通关系，负责为其用户提供内容业务。

从CDNI的第二种应用场景可以看出，上下游CDN运营商和同一内容运营商签订传输代理协议，它们的CDN都缓存了该内容运营商的内容，由于下游CDN并不感知上游CDN为哪些内容运营商传输内容，因此下游CDN可能会从上游CDN重复获取并缓存同一运营商的相同的内容。

从CDNI的第三种应用场景可以看出，两个上游CDN运营商和相同内容运营商签订传输代理协议，它们的CDN都缓存了该内容运营商的内容，由于下游CDN并不感知上游CDN为哪些内容运营商传输内容，因此下游CDN可能会从这两个上游CDN重复获取和缓存同一运营商的相同的内容。

图4是CDNI现有的互联互通流程。它包括了内容预分发和用户内容请求过程，上游CDN通知下游CDN进行内容预分发，然后将用户的内容请求重定向到下游CDN，由下游CDN为用户提供所请求的内容。具体过程包括步骤S401至步骤S409。

步骤S401、上游CDN通知下游CDN进行内容预分发。

步骤S402、下游CDN返回确认响应。

步骤S403、下游CDN向上游CDN发送内容获取请求。

步骤S404、上游CDN向下游CDN发送内容数据。

步骤S405、用户终端向上游CDN发送内容请求。

步骤S406、上游CDN发现下游CDN最适合为用户提供内容，向用户终端返回一个包含下游CDN地址的重定向响应。

步骤S407、用户终端向下游CDN发送内容请求。

步骤S408、下游CDN向商业CDN获取内容相关元数据信息。

步骤S409、下游CDN发现所请求的内容已经缓存，然后向用户终端发送内容数据。

从上述流程可以看出，上游CDN向下游CDN预分发内容之后，当接收到上游CDN的用户内容请求时，下游CDN将会判断目标内容是否已从上游CDN获取并缓存，但是对于第二种应用场景和第三种应用场景存在的问题，即如何判断相同的内容是否从其他上游CDN或者同一运营商获取并缓存，上述流程还不能有效地解决，因此下游CDN还是有可能会重复获取和缓存相同的内容。

针对相关技术中下游CDN可能会重复获取和缓存相同的内容的问题，目前尚未提出有效的解决方案。

发明内容

针对下游CDN可能会重复获取和缓存相同的内容的问题，本发明提供了一种数据获取方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种数据获取方法，应用于多个内容分发网络CDN互联互通，包括：下游CDN从至少一个上游CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；所述下游CDN在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游CDN获取所述内容。

优选的，所述下游CDN从所述上游CDN获取所述内容之后，还包括：所述下游CDN将所述内容缓存至本地。

优选的，当所述下游CDN在所述内容标识列表中查询到所述内容的内容标识时，所述下游CDN确定在本地中已经缓存所述内容。

优选的，所述内容标识由指定网元产生并管理。

优选的，所述指定网元包括下列至少之一：内容分发网络互联互通接口CDNI内容注册管理服务器，网络管理服务器，移动性管理实体。

优选的，所述内容列表中还包括：与所述内容标识对应的资源标识，其中，所述资源标识包括：所述内容标识对应的内容在所述上游CDN中的存储地址。

优选的，所述资源标识包括统一资源标识URI。

优选的，所述内容标识由哈希算法生成。

优选的，所述下游CDN从所述上游CDN获取所述内容之后，还包括：所述下游CDN将所述内容的内容标识添加至所述内容标识列表中。

优选的，所述下游CDN在本地删除指定内容，或者指定内容失效时，所述下游CDN在所述内容标识列表中删除被删除内容或者失效内容的内容标识。

根据本发明的另一方面，提供了一种数据获取装置，设置于内容分发网络下游CDN，包括：查询模块，用于从上游CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；获取模块，用于在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游CDN获取所述内容。

在本发明实施例中，下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游CDN在内容标识列表中未查询到内容的内容标识时，下游CDN才会从上游CDN获取内容，避免重复获取和缓存相同的内容，节省资源。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据相关技术的CDNI的第一种应用场景；

图2是根据相关技术的CDNI的第二种应用场景；

图3是根据相关技术的CDNI的第三种应用场景；

图4是根据相关技术的CDNI现有的互联互通流程；

图5是根据本发明实施例的数据获取方法的流程示意图；

图6是根据本发明实施例的CDNI内容预分发去重流程图；

图7是根据本发明实施例的第一种CDNI前转优化去重流程；

图8是根据本发明实施例的第二种CDNI前转优化去重流程；

图9是根据本发明实施例的CDNI内容删除优化流程；

图10是根据本发明实施例的数据获取装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

相关技术中提到，上游CDN向下游CDN预分发内容之后，当接收到上游CDN的用户内容请求时，下游CDN将会判断目标内容是否已从上游CDN获取并缓存，但是对于相关技术中提及的图2所示的第二种应用场景以及图3所示的第三种应用场景存在的问题，即如何判断相同的内容是否从其他上游CDN或者同一运营商获取并缓存，相关技术还不能有效地解决，因此下游CDN还是有可能会重复获取和缓存相同的内容，造成资源的浪费。

为解决上述技术问题，本发明实施例提供了一种数据获取方法，应用于CDN互联互通，其流程示意图如图5所示，包括：

步骤S502、下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

步骤S504、下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。

在本发明实施例中，下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游CDN在内容标识列表中未查询到内容的内容标识时，下游CDN才会从上游CDN获取内容，避免重复获取和缓存相同的内容，节省资源。

本文中提及的内容标识列表和下文具体实施例提到的内容标识关联元数据的实质是相同的，均用于保存内容与内容标识的缓存绑定关系。

按图5所示流程，下游CDN从上游CDN获取内容之后，下游CDN可以将内容缓存至本地，进而为请求该内容的用户终端提供相应内容。

与步骤S504相对应，下游CDN也可能在内容标识列表中查询到内容的内容标识，此时，下游CDN确定在本地中已经缓存内容，不需要再从上游CDN中获取相应内容，可以直接为请求该内容的用户终端提供相应内容，达到节省资源的目的。

上文提及，本发明实施例是利用唯一的内容标识对内容进行识别，而内容标识可以由指定网元产生并管理。本例中，指定网元可以包括下列至少之一：CDNI内容注册管理服务器，网络管理服务器，移动性管理实体。当然，指定网元除上述具体实例外，还可以是其他网元或实体，能够产生内容标识并对其进行管理即可。

在一个优选的实施例中，存储了内容标识的内容列表中还可以包括与内容相关的其他信息，例如，与内容标识对应的资源标识(由于内容与内容标识是一一对应的，因此，资源标识与内容标识相对应，则其必然与该内容标识对应的内容也是对应的)，其中，资源标识可以包括：内容标识对应的内容在上游CDN中的存储地址。例如，资源标识可以采用URI(UniformResource Identifier，统一资源标识)。

实施时，内容标识和资源标识共同进行关联合并标识内容。对于内容标识而言，每个内容对应的内容标识是唯一的，但是资源标识可以并不唯一，换句话说，资源标识和内容标识为多对一的对应关系。实施过程中，内容标识可以由内容运营商标识和内容特征信息组合生成。

本文提及的内容标识由算法生成，例如，由哈希算法生成。此处的算法仅仅是具体实例，具体的选法根据具体情况而定。

在一个实施例中，为保护内容标识列表的可靠性，需要及时对内容标识列表进行更新，例如，下游CDN从上游CDN获取内容之后，下游CDN可以将内容的内容标识添加至内容标识列表中；再例如，下游CDN在本地删除指定内容，或者指定内容失效时，下游CDN在内容标识列表中删除被删除内容或者失效内容的内容标识。

实施时，下游CDN缓存内容，可以创建CDNI内容标识关联元数据，CDNI内容标识关联元数据包括资源标识和内容标识与内容在当前CDN中的存储地址信息的对应关系，若删除内容或内容失效，则解除关联元数据；当需要进行内容缓存判断时，下游CDN通过查询内容元数据中的CDNI内容标识关联元数据，判断下游CDN是否已缓存内容。

由上述分析可知，针对相关技术的问题，本发明实施例提出一种优化内容去重的实现方法。不同CDN的内容命名机制是不一定相同的，例如不同的内容标识体系，本发明实施例成选利用CDNI元数据协议/接口统一内容命名机制，由CDNI内容命名机制确定的CDNI内容标识来唯一标识内容。下游CDN在缓存内容后，对CDNI内容标识进行关联，删除内容后或者内容失效时，解除对CDNI内容标识的关联。进行内容预分发或者向用户提供内容业务前，下游CDN通过查询CDNI内容标识关联元数据判断内容是否已经缓存，避免相同内容重复缓存。本发明实施例对CDNI  现有的内容去重进行优化，有效地解决CDNI中下游CDN对相同内容重复获取和缓存的问题。

为将本发明实施例提供的数据获取阐述地更清楚更明白，下面结合附图和实施例对本发明作进一步详细说明。

实施例一

图6是CDNI内容预分发优化流程。上游CDN A和上游CDN B先后向共同的下游CDN进行内容预分发，当上游CDN B通知下游CDN进行内容预分发时，由于下游CDN已经缓存来自上游CDN A的同一运营商的相同的内容，所以上游CDN B将取消向下游CDN的内容预分发。具体过程包括步骤S601至步骤S609。

步骤S601、上游CDN A通知下游CDN进行内容预分发，通知消息中带有预分发内容的内容标识信息。

步骤S602、下游CDN接收请求后，根据内容标识查询CDNI内容刚标识关联元数据信息，判断相同的内容是否已经缓存。

步骤S603、下游CDN根据内容标识查询不存在CDNI关联元数据，即内容没有缓存，然后向上游CDN A返回确认分发响应。

步骤S604、下游CDN向上游CDN A发送内容获取请求，请求中带有CDNI内容标识信息。

步骤S605、上游CDN A向下游CDN发送内容数据。

步骤S606、下游CDN缓存内容后，创建CDNI内容标识关联元数据，关联已缓存的内容。

步骤S607、上游CDN B通知下游CDN进行相同内容的预分发，通知消息中带有预分发内容的内容标识信息。

步骤S608、下游CDN接收请求后，根据内容标识查询CDNI内容标识关联元数据信息，判断相同的内容是否已经缓存。

步骤S609、下游CDN根据内容标识查询存在CDNI内容标识关联元数据，即相同的内容已经缓存，然后向上游CDN返回取消响应。

从上述流程可以看出，在进行内容预分发之前，下游CDN根据内容标识查询CDNI内容标识关联元数据，判断相同内容是否已缓存，避免了下游CDN重复对相同内容进行缓存。

实施例二

图7是第一种CDNI前转优化去重流程。上游CDN将用户内容请求重定向到下游CDN，当收到用户内容请求后，下游CDN查询不存在CDNI内容标识关联元数据判断还没有缓存用户所请求的内容，在向上游CDN获取用户所请求内容后向用户提供内容。具体过程包括步骤S701至步骤S610。

步骤S701、用户终端向上游CDN发送内容请求，请求中携带目标内容的资源标识信息。

步骤S702、上游CDN根据用户的位置信息发现下游CDN比较适合为用户提供内容，然后向用户终端返回内容重定向响应，响应中携带有和上游CDN关联的资源标识以及下游CDN地址信息。

步骤S703、用户终端收到重定向响应后，向下游CDN发送内容请求，请求中带有和上游CDN关联的资源标识信息。

步骤S704、下游CDN收到用户终端请求后，根据资源标识查询不存在对应的内容标识，即没有从上游CDN获取并缓存目标内容，然后向上游CDN获取内容标识信息；

步骤S705、下游CDN根据获取的内容标识查询CDNI内容标识关联元数据信息，判断相同的内容是否已经缓存。

步骤S706、下游CDN查询不存在CDNI内容标识关联元数据信息，即所请求内容没有缓存，然后向上游CDN发送内容获取请求，请求中携带CDNI内容标识信息。

步骤S707、上游CDN向下游CDN发送内容数据。

步骤S708、获取内容之后，下游CDN可能需要从上游CDN获取其他相关的内容元数据信息，包括内容描述，安全访问策略以及内容有效期等信息。

步骤S709、下游CDN缓存内容后，创建CDNI内容标识关联元数据，关联已缓存的内容。

步骤S710、下游CDN向用户发送内容数据。

从上述流程可以看出，下游CDN根据CDNI内容标识关联元数据判断没有缓存用户所请求的内容，在给用户提供内容之前，从上游CDN获取内容，并创建CDNI内容标识关联元数据，当其他用户向下游CDN请求相同内容时，下游CDN就不需要再向重复获取内容而可以直接向用户提供内容。

实施例三

图8是第二种CDNI前转优化去重流程。上游CDN将用户内容请求重定向到下游CDN，当收到用户内容请求后，下游CDN判断已缓存用户所请求的内容，直接向用户提供内容。具体过程包括步骤S801至步骤S807。

步骤S801、用户终端向上游CDN发送内容请求，请求中携带目标内容的资源标识信息。

步骤S802、上游CDN根据用户的位置信息发现下游CDN比较适合为用户提供内容，然后向用户终端返回内容重定向响应，响应中携带有和上游CDN关联的资源标识以及下游CDN地址信息。

步骤S803、用户终端收到重定向响应后，向下游CDN发送内容请求，请求中带有和上游CDN关联的资源标识。

步骤S804、下游CDN收到用户终端请求后，根据资源标识查询不存在对应的内容标识，即没有从上游CDN获取并缓存目标内容，然后向上游CDN获取内容标识信息；

步骤S805、下游CDN根据获取的内容标识查询存在CDNI内容标识关联元数据信息，即相同的内容已经缓存，可以直接把缓存内容提供给用户。

步骤S806、下游CDN可能需要从上游CDN获取其他相关的内容元数据信息，包括内容描述，安全访问策略以及内容有效期等信息。

步骤S807、下游CDN向用户发送缓存的内容数据。

从上述流程可以看出，下游CDN在给用户提供内容之前，根据内容标识查询CDNI内容标识关联元数据，判断用户所请求的内容已缓存，因此，下游CDN可以直接将缓存的内容提供给用户终端，避免再去向上游CDN获取内容。

实施例四

图9是CDNI内容删除优化流程。上游CDN控制下游CDN删除指定的缓存内容，下游CDN删除内容同时解除对应的CDNI内标识关联元数据。具体过程包括步骤S901至步骤S904.

步骤S901、上游CDN通知下游CDN删除指定内容，消息中包含内容标识信息。

步骤S902、下游CDN收到请求后，删除缓存的内容。

步骤S903、删除内容的同时，下游CDN删除与之对应的CDNI内容标识关联元数据。

步骤S904、删除缓存内容后，下游CDN向上游CDN返回确认响应。

从上述几个流程中可以看出，采取本发明实施例提供的方法，能够优化CDNI内容去重，很好地解决下游CDN内容重复缓存的问题。

基于同一发明构思，本发明实施例还提供了一种数据获取装置，设置于CDN，其结构示意图如图10所示，包括：

查询模块1001，用于从上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

获取模块1002，与查询模块1001耦合，用于在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本发明实施例中，下游CDN从至少一个上游CDN获取内容时，根据内容的内容标识查询内容标识列表，其中，内容标识列表中存储有下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识，下游CDN在内容标识列表中未查询到内容的内容标识时，从上游CDN获取内容。即，在本发明实施例中，利用唯一的内容标识对内容进行标识，只有下游CDN在内容标识列表中未查询到内容的内容标识时，下游CDN才会从上游CDN获取内容，避免重复获取和缓存相同的内容，节省资源。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据获取方法，其特征在于，应用于多个内容分发网络CDN互联互通，包括：

下游CDN从至少一个上游CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

所述下游CDN在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游CDN获取所述内容。

2.根据权利要求1所述的方法，其特征在于，所述下游CDN从所述上游CDN获取所述内容之后，还包括：所述下游CDN将所述内容缓存至本地。

3.根据权利要求1所述的方法，其特征在于，当所述下游CDN在所述内容标识列表中查询到所述内容的内容标识时，所述下游CDN确定在本地中已经缓存所述内容。

4.根据权利要求1所述的方法，其特征在于，所述内容标识由指定网元产生并管理。

5.根据权利要求4所述的方法，其特征在于，所述指定网元包括下列至少之一：内容分发网络互联互通接口CDNI内容注册管理服务器，网络管理服务器，移动性管理实体。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述内容列表中还包括：与所述内容标识对应的资源标识，其中，所述资源标识包括：所述内容标识对应的内容在所述上游CDN中的存储地址。

7.根据权利要求6所述的方法，其特征在于，所述资源标识包括统一资源标识URI。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述内容标识由哈希算法生成。

9.根据权利要求1至5任一项所述的方法，其特征在于，所述下游CDN从所述上游CDN获取所述内容之后，还包括：所述下游CDN将所述内容的内容标识添加至所述内容标识列表中。

10.根据权利要求1至5任一项所述的方法，其特征在于，所述下游CDN在本地删除指定内容，或者指定内容失效时，所述下游CDN在所述内容标识列表中删除被删除内容或者失效内容的内容标识。

11.一种数据获取装置，其特征在于，设置于内容分发网络下游CDN，包括：

查询模块，用于从上游CDN获取内容时，根据所述内容的内容标识查询内容标识列表，其中，所述内容标识列表中存储有所述下游CDN已获取的所有内容的内容标识，每个内容唯一对应一个内容标识；

获取模块，用于在所述内容标识列表中未查询到所述内容的内容标识时，从所述上游CDN获取所述内容。

Images