CN104951480A - 一种cdn系统中资源存储的索引装置及方法 - Google Patents

Abstract

本发明提供一种CDN系统中资源存储的索引装置及方法，所述装置包括：名称提取单元，用于获取并提取统一资源定位符URL中的文件名；名称判断单元，用于判断所述文件名的复杂度是否达到预设的复杂度，若是则使用所述文件名作为生成因子；否则使用URL作为生成因子；key值生成单元，用于通过预设算法根据所述生成因子生成key值；索引建立单元，用于创建所述key值与缓存库中对应资源的存储位置索引表。因此本发明可以实现在CDN系统中建立一个资源与key值对应度较高的索引，为资源请求和资源更新过程提供索引服务，从而减少CDN系统中缓存冗余且降低文件的误命中率。

Description

一种CDN系统中资源存储的索引装置及方法

技术领域

本发明涉及通信技术领域，尤其涉及一种CDN系统中资源存储的索引装置及方法。

背景技术

随着互联网和网络应用的普及与发展，大量网站的涌现以及随之而来的庞大访问量，使得网络服务不堪重负，内容分发网络(CDN)应运而生。CDN是一种新型网络内容服务体系，基于内容访问与应用的效率要求、质量要求、内容秩序及客户带宽限制而提供内容的分发和服务，代表了一种基于网络而构建的高质量、高效率、具有鲜明网络秩序的网络应用服务模式。

CDN在面向局域网用户时，CDN系统会旁路部署在局域网网络出口处，当用户请求某一资源时，CDN系统的重定向模块会将该请求转发给下载模块，由下载模块在本地的缓存库中缓存一份请求资源的副本以备后续请求，同时不影响该用户正常的获取请求的资源，当有用户再次请求这一资源时，重定向模块会重定向用户请求至缓存库，由缓存库向用户提供资源，由于CDN系统与用户处于同一个局域网中，所以不仅资源分发快速高效，而且可以节省大量带宽。由于CDN系统中资源类型繁多，为了在缓存库中更加高效的找到资源所存在的位置，因此将每个资源对应的生成一个key值，并建立资源存储位置与key值对应的索引，从而使查找过程更加便捷。

现有技术中通常有两种建立索引的方法，一种是采用资源的文件名作为其key值与资源存储位置建立索引，但由于互联网上的资源各种各样，不同的源站、不同主机、甚至是同一主机对于不同的资源可能采用相同的文件名，特别是对于那些文件名简单的资源文件，如setup.exe、update.exe、123.mp4等等，此时在索引表中会出现不同的资源由于文件名相同导致其key值也相同，当按照某个key值进行资源索引时，得到的可能并不是目标资源，因此很容易出现误命中的问题。比如用户原本请求的是A网站的setup.exe，但该资源和B网站的setup.exe的key值相同，CDN系统很可能将B网站的setup.exe发送给用户，导致文件误命中进而影响到用户的网络服务。

另一种是采用请求资源的统一资源定位符（URL）作为其key值，但由于同一资源可能存在于不同的源站、不同的主机、甚至是同一主机上的不同路径下。比如网站A和网站B同时提供某一资源的下载，用户获取A、B网站上该资源的URL不同对应的key值也不同，但事实上两个key值对应的资源是相同的，因此出现索引表中多个key值对应的资源会重复，从而导致资源在缓存模块中存放着大规模的冗余资源。

由此可见，由于现有技术无法在CDN系统中建立一个资源与key值对应度较高的索引，而导致CDN系统中出现缓存大规模冗余和文件误命中的问题。

发明内容

有鉴于此，本发明提供一种CDN系统中资源存储的索引装置及方法来实现在CDN系统中建立一个资源与key值对应度较高的索引，为资源请求和资源更新过程提供索引服务，从而减少CDN系统中缓存冗余且降低文件的误命中率。

一种CDN系统中资源存储的索引装置，所述装置包括：

名称提取单元，用于获取并提取统一资源定位符URL中的文件名；

名称判断单元，用于判断所述文件名的复杂度是否达到预设的复杂度，若是则使用所述文件名作为生成因子；否则使用URL作为生成因子；

key值生成单元，用于通过预设算法根据所述生成因子生成key值；

索引建立单元，用于创建所述key值与缓存库中对应资源的存储位置索引表。

进一步的，所述达到预设的复杂度包括：

所述文件名中至少包含一个命名特征；

所述命名特征包括：所述文件名达到预定长度，所述文件名构成符合预定的组合模式，以及所述文件名中包含特殊字符。

进一步的，所述达到预设的复杂度还包括：

所述文件名未出现在预设名称库中。

进一步的，所述预设算法为哈希算法。

进一步的，所述装置还包括：

资源请求单元，用于当所述URL为用户主机向所述名称解析单元发送的资源请求URL时，根据所述资源请求URL的key值在所述索引表中查找，若命中，则由所述缓存库提供所述资源。

进一步的，所述装置还包括：

下载更新单元，用于当所述URL为下载反馈URL时，将所述下载反馈URL对应的key值更新至索引表。

进一步的，所述下载更新单元还用于：

将所述key值更新至索引表时，为所述key值设置老化时间。

进一步的，所述装置还包括：

老化检测单元，用于周期性地检测所述索引表中key值的老化时间，若超时，则请求重新下载所述key值对应的资源。

基于同样的构思，本发明还提供一种CDN系统中资源存储的索引方法，其特征在于，所述方法包括步骤：

获取并提取URL中的文件名；

判断所述文件名的复杂度是否达到预设的复杂度，若是则使用所述文件名作为生成因子；否则使用URL作为生成因子；

通过预设算法根据所述生成因子生成key值；

创建所述key值与缓存库中对应资源的存储位置索引表。

进一步的，所述达到预设的复杂度包括：

所述文件名中至少包含一个命名特征；

所述命名特征包括：所述文件名达到预定长度，所述文件名构成符合预定的组合模式，以及所述文件名中包含特殊字符。

相对于现有技术，本发明通过判断文件名复杂度的方式来选择key值的生成因子，进而得到资源与key值对应度较高的索引，为资源请求和资源更新过程提供索引服务，从而减少CDN系统中缓存冗余且降低文件的误命中率。

附图说明

图1是本发明提供的一种CDN系统中资源存储的索引装置的结构示意图；

图2是本发明实施例中一种组网结构示意图；

图3是本发明实施例中一种CDN系统中资源存储的索引方法的处理流程图。

具体实施方式

为了解决上述问题，本发明提供了一种CDN系统中资源存储的索引装置及方法。

请参见图1，一种CDN系统中资源存储的索引装置，所述装置基本运行环境包括CPU，非易失性存储器、内存以及其他硬件，从逻辑层面上来看，所述装置包括：

名称提取单元获取并提取URL中的文件名，其中，URL是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。基本URL包含模式（或称协议）、服务器名称（或IP地址）、路径和文件名，如“协议://授权/路径？查询”。而完整的、带有授权部分的普通统一资源标志符语法则比较复杂，例如：协议://用户名:密码子域名.域名.顶级域名:端口号/目录/文件名.文件后缀?参数=值#标志，因此名称提取单元可以在URL中提取其中的文件名。

名称判断单元根据上述名称提取单元提取出的文件名判断所述文件名的复杂度是否满足预设的复杂度，若是则说明该文件名比较复杂，重名几率极小，因此可以使用所述文件名作为生成因子；否则说明该文件名属于较简单的常见的文件名，重名的概率比较高，因此使用URL作为生成因子；所述生成因子可以理解为生成key值时依据的特征元素。

key值生成单元通过预设算法根据上述生成因子来生成key值，由于所述生成因子选取时充分考虑了重名的问题，因此可以使资源与key值的对应度优于现有技术。

索引建立单元创建所述key值与CDN系统中缓存库中缓存资源对应的存储位置的索引表，该索引表可以为用户请求资源或是下载更新资源提供索引服务。

由此可见，本发明可以通过判断文件名复杂度的方式严格筛选出有差异性的key值的生成因子，进而得到资源与key值对应度较高的索引，为资源请求和资源更新过程提供索引服务，从而减少CDN系统中缓存冗余且降低文件的误命中率。

在优选的实施例中，所述达到预设的复杂度可以有多种情况，其中一种为：所述文件名中至少包含一个命名特征。其中所述命名特征包括：所述文件名达到预定长度，所述文件名构成符合预定的组合模式，以及所述文件名中包含特殊字符。比如说一个资源的文件名超过10字节，就认为该文件名相对较复杂；或是文件名由数字、字母、符号排列组合而成（例如setup-123.exe），也是比较复杂的构成；又或是文件名中包含特殊字符，如、*、#、%等等一般文件名中不常用到的字符，这样也可以防止重名。上述例举的三个命名特征仅供参考，具体实施过程可以酌情选择。比如在实际应用时，考虑到文件名可能会出现字符长度很长（例如超过20字节），但是没有复杂的组合模式，也不包含特殊字符的情况，那么本发明会在每个命名特征的判断时设置多档次的判断标准，如果只符合较低档次的命名特征，那就要有多项命名特征都符合才能认为所述文件名可以作为生成因子使用；如果有的文件名包含的某一个命名特征属于很高档次的特征，那么即使该文件名不符合其他命名特征，也会认为该文件名可以作为生成因子使用。这样一来，选出较复杂的文件名来作为key值的生成因子，可以大大降低文件重名导致的误命中概率。

为了防止漏判或判错的情况，所述预设的复杂度还包括另一种情况，即所述文件名未出现在预设名称库中。所述预设名称库就是将一些用户常访问的资源，常见的网站资源、常见的主机资源对应的文件名汇总的名称列表，当筛选出符合上述情况的文件名后，进一步的进行再次筛选，也就是根据文件名在所述预设名称库中查找，若有相同的文件名就可以认为该文件名的重名几率很大，因此就不采用该文件名作为生成因子。

需要说明的是，上述命名特征和预设名称库通常由管理员手动配置在本装置内存中的，可以进行修改、添加或删除，方便及时更新和升级。

这样一来，经过多道规则的检查就可以筛选出较为独特的文件名，从而获取不同的key值，改善了资源与key值的对应关系，形成对应度较高的索引。

在优选的实施例中，key值生成单元根据上述判断过程将得到的生成因子按照预设算法生成key值，其中所述算法具体为哈希算法。所述哈希算法是一种常见的算法，具体实现过程此处不再赘述。通过哈希算法生成的key值保密性较高，更有利于用户在网络中的安全性。

由于上述装置应用的场景不同，产生的效果也会有所差异，为了进一步说明本发明所带来的有益效果，下面是对本发明应用场景不同的说明。

其中，当所述装置用于接收用户的资源请求时，本发明中还包括了资源请求单元，其用于当用户主机向所述名称解析单元发送资源请求URL时，按照上述处理方式将根据所述资源请求URL对应的key值找再根据key值在索引表中查找，若命中则说明CDN系统的本地缓存库中存储了用户想要获取的资源，那么就将重定向所述资源请求至缓存库，以此免去反复去获取资源的服务过程，提高了服务效率。

值得注意的是，所述装置还包括下载更新单元，用于当所述名称解析单元收到从外网下载资源完成后的下载反馈URL时，将所述下载反馈URL对应的key值更新至上述的索引表，以保证用户可以通过CDN系统更快的获取更多的资源。

在优选的实施例中，由于网络资源经常会更新，但是已经下载到缓存库中的资源不会主动随之更新，因此所述下载更新单元还用于将key值更新至索引表时，为所述key值设置老化时间。老化时间相当于这个资源的有效寿命。除此之外，本发明还适应性的加入了老化检测单元，用于周期性地检测所述索引表中key值的老化时间，若超时，则说明该key值对应的资源已经过期，可能已经发生了更新，因此要根据资源的名称或是URL重新下载所述key值对应的资源。从而使用户可以获得最新的资源，提升了体验效果。

下面请结合说明书附图，以一个具体的实施例对本发明进行详细说明。

请参见图2，这是CDN系统为用户提供服务的组网结构示意图。其中，CDN系统和访问的用户可以看做为同在一个局域网中，CDN系统通常会旁路部署在局域网网络出口处，向用户提供用户所需的外网（Internet）中的网络资源。假设局域网内的用户要访问某网站服务器下载QQ的安装包，此时本发明实施例中的CDN系统处理过程如图3所示。

101、获取用户向网站服务器发送的资源请求分析出请求中的URL，如http://download.skycn.com/baidu-soft-online-bcs/soft/Q/2014-02-21_QQ5.1_skycn_com.exe；

102、解析所述URL，获取其中资源对应的文件名，例如QQ5.1.exe；

103、判断所述文件名的复杂度是否达到预设的复杂度，若是则转步骤104，否则转步骤105；

其中达到预设复杂度的条件为，所述文件名至少包含一个命名特征，假设所述命名特征如表1所示：

假设所述命名特征对应的判断规则具体为：当文件名满足的命名特征为A档时，那么需要3项特征均满足要求；当文件名满足的命名特征为B档时，那么需要2项及以上特征满足要求；当文件名满足的命名特征为C档时，那么需要1项特征满足要求即可。根据上述判断规则对文件名QQ5.1.exe进行判断，可见所述文件名并不满足条件一的要求，因此说明该文件名重名的可能性较高，不能作为生成因子使用。

104、使用文件名作为生成因子，按照哈希算法生成资源对应的key值，并创建key值与资源存储位置对应的索引表；

105、文件名的复杂度较低时，就采用资源对应的URL作为生成因子，并按照哈希算法生成资源对应的key值，并创建key值与资源存储位置对应的索引表；

106、得到资源（也就是QQ的安装包）对应的key值后，将根据所述key值在索引表中查找，若命中，则转步骤107，否则转步骤108；

107、若能查找的相同的key值，说明该资源在CDN系统的缓存库中存在，因此将用户的请求URL重定向至CDN系统的缓存库处理；

108、若不存在，则将该资源对应的URL转发至下载更新模块，由下载更新模块从外网中下载相应的资源并更新至缓存库中。

相对于现有技术，本发明通过判断文件名复杂度的方式来选择key值的生成因子，进而得到资源与key值对应度较高的索引，为资源请求和资源更新过程提供索引服务，从而减少CDN系统中缓存冗余且降低文件的误命中率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种CDN系统中资源存储的索引装置，其特征在于，所述装置包括：

名称提取单元，用于获取并提取统一资源定位符URL中的文件名；

名称判断单元，用于判断所述文件名的复杂度是否达到预设的复杂度，若是则使用所述文件名作为生成因子；否则使用URL作为生成因子；

key值生成单元，用于通过预设算法根据所述生成因子生成key值；

索引建立单元，用于创建所述key值与缓存库中对应资源的存储位置索引表。

2.如权利要求1所述的装置，其特征在于，所述达到预设的复杂度包括：

所述文件名中至少包含一个命名特征；

所述命名特征包括：所述文件名达到预定长度，所述文件名构成符合预定的组合模式，以及所述文件名中包含特殊字符。

3.如权利要求2所述的装置，其特征在于，所述达到预设的复杂度还包括：

所述文件名未出现在预设名称库中。

4.如权利要求1所述的装置，其特征在于，所述预设算法为哈希算法。

5.如权利要求1所述的装置，其特征在于，所述装置还包括：

资源请求单元，用于当所述URL为用户主机向所述名称解析单元发送的资源请求URL时，根据所述资源请求URL的key值在所述索引表中查找，若命中，则由所述缓存库提供所述资源。

6.如权利要求1所述的装置，其特征在于，所述装置还包括：

下载更新单元，用于当所述URL为下载反馈URL时，将所述下载反馈URL对应的key值更新至索引表。

7.如权利要求6所述的装置，其特征在于，所述下载更新单元还用于：

将所述key值更新至索引表时，为所述key值设置老化时间。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

老化检测单元，用于周期性地检测所述索引表中key值的老化时间，若超时，则请求重新下载所述key值对应的资源。

9.一种CDN系统中资源存储的索引方法，其特征在于，所述方法包括步骤：

获取并提取URL中的文件名；

判断所述文件名的复杂度是否达到预设的复杂度，若是则使用所述文件名作为生成因子；否则使用URL作为生成因子；

通过预设算法根据所述生成因子生成key值；

创建所述key值与缓存库中对应资源的存储位置索引表。

10.如权利要求9所述的方法，其特征在于，所述达到预设的复杂度包括：

所述文件名中至少包含一个命名特征；

所述命名特征包括：所述文件名达到预定长度，所述文件名构成符合预定的组合模式，以及所述文件名中包含特殊字符。