CN108234632A - 一种内容分发网络cdn的数据分发方法和装置 - Google Patents
一种内容分发网络cdn的数据分发方法和装置 Download PDFInfo
- Publication number
- CN108234632A CN108234632A CN201711481253.5A CN201711481253A CN108234632A CN 108234632 A CN108234632 A CN 108234632A CN 201711481253 A CN201711481253 A CN 201711481253A CN 108234632 A CN108234632 A CN 108234632A
- Authority
- CN
- China
- Prior art keywords
- data
- computing device
- access
- target
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种内容分发网络CDN的数据分发方法和装置,其中,所述方法包括:在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述方法包括:在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;根据所述访问信息确定所述缓存数据的数据类型;当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备;从而实现负载均衡,减轻单个计算设备的访问压力。
Description
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种内容分发网络CDN的数据分发方法和一种内容分发网络CDN的数据分发装置。
背景技术
在网站中经常使用CDN(Content Delivery Network,内容分发网络)对数据进行传输,CDN是通过在现有的网络中增加一层新的网络结构,部署有多个节点,用于缓存数据,使用户可以将数据传输到就近的节点上或从就近的节点获取所需的数据,提供相应的服务。
在CDN的节点中,通常部署多个计算设备缓存数据,在每个计算设备上都会对同一份数据进行缓存,造成在同一节点内同一份数据缓存多份的问题,浪费存储空间。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种内容分发网络CDN的数据分发方法和相应的一种内容分发网络CDN的数据分发装置。
依据本发明的一个方面,提供了一种内容分发网络CDN的数据分发方法,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述方法包括:
在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
根据所述访问信息确定所述缓存数据的数据类型;
当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
可选地,所述在当前节点中对存储在当前计算设备中的缓存数据统计访问信息,包括:
在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
可选地,所述根据所述访问信息确定所述缓存数据的数据类型,包括:
判断所述访问次数是否超过预设的次数阈值;若是,则确定所述缓存数据的数据类型为目标类型。
可选地,在所述将所述缓存数据分发至当前节点中的其他计算设备之前,还包括:
当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
在所述目标计算设备中查找所述访问请求对应的目标数据;
当查找到所述目标数据时,返回所述目标数据。
可选地,所述在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备,包括:
从所述访问请求中提取目标数据的访问地址;
查询所述多个计算设备对应的多个设备标识;
分别采用所述多个设备标识与所述访问地址生成多个特征码;
按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
可选地,所述按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备,包括:
查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
分别将所述多个特征码与所述参考码进行匹配;
当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
可选地,所述在所述目标计算设备中查找所述访问请求对应的目标数据,包括:
判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则确定未查找到目标数据;若否,则确定所述缓存数据为目标数据;
当未存储所述缓存数据时,确定未查找到目标数据。
可选地,还包括:
当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
返回所述目标数据。
根据本发明的另一方面,提供了一种内容分发网络CDN的数据分发装置,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述装置包括:
访问信息统计模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
数据类型确定模块,用于根据所述访问信息确定所述缓存数据的数据类型;
缓存数据分发模块,用于当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
可选地,所述访问信息统计模块包括:
访问次数统计子模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
可选地,所述数据类型确定模块包括:
次数阈值判断子模块,用于判断所述访问次数是否超过预设的次数阈值;若是,则调用目标类型判断子模块;
目标类型判断子模块,用于确定所述缓存数据的数据类型为目标类型。
可选地,还包括:
目标计算设备查找模块,用于当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
目标数据查找模块,用于在所述目标计算设备中查找所述访问请求对应的目标数据;
第一返回模块,用于当查找到所述目标数据时,返回所述目标数据。
可选地,所述目标计算设备查找模块包括:
访问地址提取子模块,用于从所述访问请求中提取目标数据的访问地址;
设备标识查询子模块,用于查询所述多个计算设备对应的多个设备标识;
特征码生成子模块,用于分别采用所述多个设备标识与所述访问地址生成多个特征码;
特征码查找子模块,用于按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
可选地,所述特征码查找子模块包括:
存储信息表查找单元,用于查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
特征码匹配单元,用于分别将所述多个特征码与所述参考码进行匹配;
目标计算设备确定单元,用于当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
可选地,所述目标数据查找模块包括:
缓存数据判断子模块,用于判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
失效判断子模块,用于当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则调用第一确定子模块,若否,则调用第二确定子模块;
第一确定子模块,用于确定未查找到目标数据;
第二确定子模块,用于确定所述缓存数据为目标数据;
第三确定子模块,用于当未存储所述缓存数据时,确定未查找到目标数据。
可选地,还包括:
目标数据获取模块,用于当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
第二返回模块,用于返回所述目标数据。
在本发明实施例中,内容分发网络CDN具有多个节点,在节点中具有多个计算设备,在当前节点中对存储在当前计算设备中的缓存数据统计访问信息,根据访问信息确定所述缓存数据的数据类型,当数据类型为目标类型时,将缓存数据分发至除当前计算设备之外的其他计算设备,同一个节点下的多个计算设备,对于同一份数据,可以仅在某个计算设备中缓存一份,减少了缓存的份数,从而减少了存储空间的浪费,进一步地,对于一些热点的数据,通过访问信息确定其为目标类型时,可以将其从当前计算设备分发至其他计算设备,实现负载均衡,可以减轻单个计算设备的访问压力。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图;
图2示出了根据本发明一个实施例的一种内容分发网络CDN的结构示意图;
图3示出了根据本发明一个实施例的另一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图;
图4示出了根据本发明一个实施例的再一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图;以及
图5示出了根据本发明一个实施例的一种内容分发网络CDN的数据分发装置实施例的结构示意框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图,具体可以包括如下步骤:
步骤101,在当前节点中对存储在当前计算设备中的缓存数据统计访问信息。
在内容分发网络CDN中,通常具有多个用于传输、缓存数据(如直播流、缓存数据等)的节点,在某个节点接收到客户端、源网站的数据(如直播流、缓存数据等)之后,可以推送至其他节点,在用户访问数据(如直播流、缓存数据等)的时候,通过调度将用户的请求路由或者引导到离用户接入网络最近或者访问效果最佳的节点上,由该节点为用户提供数据(如直播流、缓存数据等);相对于直接访问源网站,这种方式缩短了用户和数据(如直播流、缓存数据等)之间的网络距离,从而达到加速的效果。
需要说明的是,在不同的内容分发网络CDN中,拓扑结构可能有所不同。
在一种实施方式中,内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点。
在某些情况下,中心节点为资源的超汇聚节点,可以与源网站进行通信,汇聚了大量源网站的资源,这些资源一般为变化较少的资源,例如,视频、图片等等。
在某些情况下,中心节点仅保存文件信息,如URL(Uniform Resource Locator,统一资源定位符)、大小等,并不直接缓存文件,内容分发网络CDN中的其他节点从该中心节点中获取待缓存的文件的文件信息,在缓存完该文件之后,上报至中心节点,中心节点统计出其他节点缓存的文件。
需要说明的是,在某些内容分发网络CDN中可以部署中心节点,即该部分内容分发网络CDN为中心节点-父层节点-边缘节点的三层结构,在某些内容分发网络CDN中可以不部署中心节点,即该部分内容分发网络CDN为父层节点-边缘节点的二层结构,本发明实施例对此不加以限制。
父层节点为资源的次汇聚节点,一方面,由于在内容分发网络CDN内部,各节点之间一般使用双向光纤等专有的通信线缆进行通信,中心节点与父层节点之间的通信质量有较高的保障,在获取变化较少的资源、外部源网站通信质量较差等情况下,可以与中心节点进行通信,从中心节点获取资源,另一方面,在获取新的资源、进行数据操作(如支付)等情况下,可以与源网站进行通信,从源网站获取资源。
再者,父层节点之间可以相互通信,从而组成父层节点与边缘节点之间的传输路径,即一个节点到另一个节点所经过的中间传输的节点及通信线缆所组成的路径。
具体而言,选取传输路径的方式可以有多种,可以根据实际需求选择如下至少一种方式:
1、选取传输性能符合设定的要求的传输路径。
传输性能是指传输流数据的传输路径的传输能力,可以根据节点间的距离、传输速度、数据丢失率、阻塞状况等确定传输路径的传输性能,通过定期更新每两个节点间的传输性能,根据节点之间的各传输路径的传输性能,选取其中传输性能符合要求或传输性能最好的传输路径。
2、选取经过的节点数量最少的传输路径。
在多条传输路径中选取节点数量最少的传输路径,这样,就可以占用最少的传输资源完成数据从一个节点到另一个节点的传输。
3、选取在一段时间内没有选择过的传输路径。
如果历史上有流数据从一个节点传输至另一个节点,那么,当有新的数据要从这两个之间进行传输,可以在一段时间内没有选择过的各传输路径中选取一条,以避免一直选取同一条传输路径导致该传输路径上的节点负载过重。
当然,上述传输路径的选取方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他传输路径的选取方式,本发明实施例对此不加以限制。另外,除了上述传输路径的选取方式外,本领域技术人员还可以根据实际需要采用其它传输路径的选取方式,本发明实施例对此也不加以限制。
此外,父层节点一般部署有多个运营商的机房,机房之间通过双线光线等专有的通信线缆进行连接,边缘节点一般是部署在某个运营商的网络中,同运营商之间的父层节点的机房可以与边缘节点进行通信。
边缘节点之间具有相互通信的能力,但是,一般情况下,不会直接进行通信。
边缘节点可以接入客户端,例如,手机、平板电脑、电视等等,用于与客户端进行通信,如获取其采集的直播流,或者,将直播流推送至该客户端。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的示例来说明本发明实施例中的内容分发网络CDN。
如图2所示,父层节点为A1、A2、A3、A4,可以按照地理位置进行部署,例如,A1部署在北京、A2部署在上海、A3部署在广州,A4部署在郑州,A1可以与A2进行通信,A2可以与A3进行通信,A3可以与A4进行通信,A4可以与A1进行通信,父层节点之间的循环通信,可以组成环状的父层结构。
此外,每个父层节点可以连接一个或多个边缘节点,边缘节点也可以按照地理位置、运营商等因素进行部署,边缘节点之间一般不直接进行通信,而是经过父层节点进行中转,父层节点A1连接边缘节点A11、A12,父层节点A2连接缘节点A21、A22,父层节点A3连接缘节点A31、A32、A33,父层节点A4连接缘节点A41、A42、A43。
边缘节点接入客户端,如边缘节点A32接入客户端B1,用于接收客户端的数据(如直播流),或者,将数据(如直播流)发送至该客户端。
在本发明实施例中,同一个节点下的多个计算设备,对于同一份数据,可以仅在其中一个计算设备中缓存一份。
但是,为了避免某些热点的数据对某个计算设备造成过大的访问压力,可以对计算设备中的缓存数据统计访问信息,以识别其数据类型,决定分发策略。
其中,访问信息可以为访问该缓存数据的信息,例如,访问次数、访问的时间间隔,等等。
在一个示例中,可以在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段(如30秒)的访问次数。
步骤102,根据所述访问信息确定所述缓存数据的数据类型。
访问信息可以从一定程度上反映出该缓存数据的热度,因此,可以基于访问信息确定该缓存数据的数据类型。
在一个示例中,可以判断访问次数是否超过预设的次数阈值;若是,则确定缓存数据的数据类型为目标类型,即热点数据。
步骤103,当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
对于目标类型的缓存数据,属于热点数据,访问该缓存数据的概率较高,则可以将其分发至同一节点下的其他计算设备进行缓存。
在本发明实施例中,内容分发网络CDN具有多个节点,在节点中具有多个计算设备,在当前节点中对存储在当前计算设备中的缓存数据统计访问信息,根据访问信息确定所述缓存数据的数据类型,当数据类型为目标类型时,将缓存数据分发至除当前计算设备之外的其他计算设备,同一个节点下的多个计算设备,对于同一份数据,可以仅在某个计算设备中缓存一份,减少了缓存的份数,从而减少了存储空间的浪费,进一步地,对于一些热点的数据,通过访问信息确定其为目标类型时,可以将其从当前计算设备分发至其他计算设备,实现负载均衡,可以减轻单个计算设备的访问压力。
参照图3,示出了根据本发明一个实施例的另一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图,具体可以包括如下步骤:
步骤301,在当前节点中接收访问请求。
在本发明实施例中,当前某个节点可以数据的访问请求。
在上述内容分发网络CDN中,若当前节点为边缘节点,则可以接收客户端的访问请求,若当前节点为父层节点,则可以接收边缘节点的访问请求。
步骤302,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备。
在本发明实施例中,同一个节点下的多个计算设备,对于同一份数据,可以仅在其中一个计算设备中缓存一份。
因此,针对当前的访问请求,当前节点需从多个计算设备中查询缓存了该访问请求所需的目标数据的计算设备,作为目标计算设备。
在本发明的一个实施例中,步骤302可以包括如下子步骤:
子步骤S11,从所述访问请求中提取目标数据的访问地址。
在具体实现中,可以从访问请求中提取待访问的目标数据的访问地址,如URL(Uniform Resource Locator,统一资源定位符)。
子步骤S12,查询所述多个计算设备对应的多个设备标识。
对于每个计算设备,可以对其配置设备标识,即唯一标识该计算设备的信息,例如,IP地址、设备ID、主机名,等等。
子步骤S13,分别采用所述多个设备标识与所述访问地址生成多个特征码。
在具体实现中,针对每个设备标识,可以与访问地址进行组合,通过哈希算法等方式,生成一个唯一的码值,作为特征码。
子步骤S14,按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
在具体实现中,可以查找预设的存储信息表,该存储信息表中记录具有映射关系的设备标识与参考码。
其中,参考码采用设备标识与存储在设备标识所属计算设备的数据的访问地址生成,也是一个唯一的码值。
分别将多个特征码与参考码进行匹配。
当匹配成功时,以参考码对应的设备标识确定用于存储目标数据的目标计算设备,即该参考码对应的设备标识所属的计算设备,为目标计算设备。
步骤303,在所述目标计算设备中查找所述访问请求对应的目标数据。
在定位了目标计算设备之后,则可以在该目标计算设备中查找该访问请求所需的目标数据。
在本发明的一个实施例中,步骤303可以包括如下子步骤:
子步骤S21,判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据。
子步骤S22,当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则执行子步骤S23,若否,则执行子步骤S24。
子步骤S23,确定未查找到目标数据;
子步骤S24,确定所述缓存数据为目标数据;
子步骤S25,当未存储所述缓存数据时,确定未查找到目标数据。
在具体实现中,由于缓存数据缓存超过预设的时间,会被删除,因此,如果目标计算设备中未存储有该访问请求对应的缓存数据,则确定未查找到目标数据。
此外,由于网站更新等原因,缓存数据可能为旧数据,已经失效,如果目标计算设备中已存储有该访问请求对应的缓存数据,则可以进一步判断该缓存数据是否失效。
如果缓存数据是未失效,则该缓存数据为访问请求对应的目标数据。
如果缓存数据是已失效,则确定未查找到目标数据。
步骤304,当查找到所述目标数据时,返回所述目标数据。
如果在目标计算设备中查找到目标数据,则可以对访问请求进行响应,返回该目标数据。
在上述内容分发网络CDN中,若当前节点为边缘节点,则可以将目标数据返回客户端,若当前节点为父层节点,则可以将目标数据返回边缘节点。
参照图4,示出了根据本发明一个实施例的再一种内容分发网络CDN的数据分发方法实施例的步骤示意流程图,具体可以包括如下步骤:
步骤401,在当前节点中接收访问请求。
步骤402,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备。
步骤403,在所述目标计算设备中查找所述访问请求对应的目标数据。
步骤404,当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据。
如果在目标计算设备中未查找到目标数据,则可以进行回源操作,从上游节点或源网站查找目标数据。
在上述内容分发网络CDN中,若当前节点为所述边缘节点时,从父层节点查找所述目标数据。
对于父层节点而言,可以判断是否已缓存目标数据;若是,则将目标数据发送至边缘节点,否则,通过目标数据的URL,从源网站获取目标数据,并发送至边缘节点。
若当前节点为父层节点时,从源网站查找目标数据。
步骤405,返回所述目标数据。
在回源操作获得目标数据之后,一方面,可以将其缓存在目标计算设备中,另一方面,可以对访问请求进行响应,返回该目标数据。
在上述内容分发网络CDN中,若当前节点为边缘节点时,则可以将目标数据返回客户端;若当前节点为父层节点时,则可以将目标数据返回边缘节点。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了根据本发明一个实施例的一种内容分发网络CDN的数据分发装置实施例的结构示意框图,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述装置具体可以包括如下模块:
访问信息统计模块501,用于在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
数据类型确定模块502,用于根据所述访问信息确定所述缓存数据的数据类型;
缓存数据分发模块503,用于当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
在本发明的一个实施例中,所述访问信息统计模块501包括:
访问次数统计子模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
在本发明的一个实施例中,所述数据类型确定模块502包括:
次数阈值判断子模块,用于判断所述访问次数是否超过预设的次数阈值;若是,则调用目标类型判断子模块;
目标类型判断子模块,用于确定所述缓存数据的数据类型为目标类型。
在本发明的一个实施例中,还包括:
目标计算设备查找模块,用于当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
目标数据查找模块,用于在所述目标计算设备中查找所述访问请求对应的目标数据;
第一返回模块,用于当查找到所述目标数据时,返回所述目标数据。
在本发明的一个实施例中,所述目标计算设备查找模块包括:
访问地址提取子模块,用于从所述访问请求中提取目标数据的访问地址;
设备标识查询子模块,用于查询所述多个计算设备对应的多个设备标识;
特征码生成子模块,用于分别采用所述多个设备标识与所述访问地址生成多个特征码;
特征码查找子模块,用于按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
在本发明的一个实施例中,所述特征码查找子模块包括:
存储信息表查找单元,用于查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
特征码匹配单元,用于分别将所述多个特征码与所述参考码进行匹配;
目标计算设备确定单元,用于当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
在本发明的一个实施例中,所述目标数据查找模块包括:
缓存数据判断子模块,用于判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
失效判断子模块,用于当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则调用第一确定子模块,若否,则调用第二确定子模块;
第一确定子模块,用于确定未查找到目标数据;
第二确定子模块,用于确定所述缓存数据为目标数据;
第三确定子模块,用于当未存储所述缓存数据时,确定未查找到目标数据。
在本发明的一个实施例中,还包括:
目标数据获取模块,用于当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
第二返回模块,用于返回所述目标数据。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的内容分发网络CDN的数据分发设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种内容分发网络CDN的数据分发方法,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述方法包括:
在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
根据所述访问信息确定所述缓存数据的数据类型;
当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
A2、如A1所述的方法,所述在当前节点中对存储在当前计算设备中的缓存数据统计访问信息,包括:
在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
A3、如A2所述的方法,所述根据所述访问信息确定所述缓存数据的数据类型,包括:
判断所述访问次数是否超过预设的次数阈值;若是,则确定所述缓存数据的数据类型为目标类型。
A4、如A1所述的方法,在所述将所述缓存数据分发至当前节点中的其他计算设备之前,还包括:
当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
在所述目标计算设备中查找所述访问请求对应的目标数据;
当查找到所述目标数据时,返回所述目标数据。
A5、如A4所述的方法,所述在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备,包括:
从所述访问请求中提取目标数据的访问地址;
查询所述多个计算设备对应的多个设备标识;
分别采用所述多个设备标识与所述访问地址生成多个特征码;
按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
A6、如A5所述的方法,所述按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备,包括:
查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
分别将所述多个特征码与所述参考码进行匹配;
当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
A7、如A4所述的方法,所述在所述目标计算设备中查找所述访问请求对应的目标数据,包括:
判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则确定未查找到目标数据;若否,则确定所述缓存数据为目标数据;
当未存储所述缓存数据时,确定未查找到目标数据。
A8、如A4或A5或A6或A7所述的方法,还包括:
当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
返回所述目标数据。
本发明实施例还公开了B9、一种内容分发网络CDN的数据分发装置,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述装置包括:
访问信息统计模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
数据类型确定模块,用于根据所述访问信息确定所述缓存数据的数据类型;
缓存数据分发模块,用于当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
B10、如B9所述的装置,所述访问信息统计模块包括:
访问次数统计子模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
B11、如B10所述的装置,所述数据类型确定模块包括:
次数阈值判断子模块,用于判断所述访问次数是否超过预设的次数阈值;若是,则调用目标类型判断子模块;
目标类型判断子模块,用于确定所述缓存数据的数据类型为目标类型。
B12、如B9所述的装置,还包括:
目标计算设备查找模块,用于当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
目标数据查找模块,用于在所述目标计算设备中查找所述访问请求对应的目标数据;
第一返回模块,用于当查找到所述目标数据时,返回所述目标数据。
B13、如B12所述的装置,所述目标计算设备查找模块包括:
访问地址提取子模块,用于从所述访问请求中提取目标数据的访问地址;
设备标识查询子模块,用于查询所述多个计算设备对应的多个设备标识;
特征码生成子模块,用于分别采用所述多个设备标识与所述访问地址生成多个特征码;
特征码查找子模块,用于按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
B14、如B13所述的装置,所述特征码查找子模块包括:
存储信息表查找单元,用于查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
特征码匹配单元,用于分别将所述多个特征码与所述参考码进行匹配;
目标计算设备确定单元,用于当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
B15、如B12所述的装置,所述目标数据查找模块包括:
缓存数据判断子模块,用于判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
失效判断子模块,用于当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则调用第一确定子模块,若否,则调用第二确定子模块;
第一确定子模块,用于确定未查找到目标数据;
第二确定子模块,用于确定所述缓存数据为目标数据;
第三确定子模块,用于当未存储所述缓存数据时,确定未查找到目标数据。
B16、如B12或B13或B14或B15所述的装置,还包括:
目标数据获取模块,用于当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
第二返回模块,用于返回所述目标数据。
Claims (10)
1.一种内容分发网络CDN的数据分发方法,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述方法包括:
在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
根据所述访问信息确定所述缓存数据的数据类型;
当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
2.如权利要求1所述的方法,其特征在于,所述在当前节点中对存储在当前计算设备中的缓存数据统计访问信息,包括:
在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
3.如权利要求2所述的方法,其特征在于,所述根据所述访问信息确定所述缓存数据的数据类型,包括:
判断所述访问次数是否超过预设的次数阈值;若是,则确定所述缓存数据的数据类型为目标类型。
4.如权利要求1所述的方法,其特征在于,在所述将所述缓存数据分发至当前节点中的其他计算设备之前,还包括:
当接收到访问请求时,在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备;
在所述目标计算设备中查找所述访问请求对应的目标数据;
当查找到所述目标数据时,返回所述目标数据。
5.如权利要求4所述的方法,其特征在于,所述在所述多个计算设备中查找用于存储所述访问请求对应的目标数据的目标计算设备,包括:
从所述访问请求中提取目标数据的访问地址;
查询所述多个计算设备对应的多个设备标识;
分别采用所述多个设备标识与所述访问地址生成多个特征码;
按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备。
6.如权利要求5所述的方法,其特征在于,所述按照所述特征码从所述多个计算设备中查找用于存储所述目标数据的目标计算设备,包括:
查找预设的存储信息表;所述存储信息表中记录具有映射关系的设备标识与参考码,所述参考码采用所述设备标识与存储在所述设备标识所属计算设备的数据的访问地址生成;
分别将所述多个特征码与所述参考码进行匹配;
当匹配成功时,以所述参考码对应的设备标识确定用于存储所述目标数据的目标计算设备。
7.如权利要求4所述的方法,其特征在于,所述在所述目标计算设备中查找所述访问请求对应的目标数据,包括:
判断所述目标计算设备中是否存储有所述访问请求对应的缓存数据;
当已存储所述缓存数据时,判断所述缓存数据是否失效;若是,则确定未查找到目标数据;若否,则确定所述缓存数据为目标数据;
当未存储所述缓存数据时,确定未查找到目标数据。
8.如权利要求4或5或6或7所述的方法,其特征在于,还包括:
当未查找到所述目标数据时,从上游节点或源网站查找所述目标数据;
返回所述目标数据。
9.一种内容分发网络CDN的数据分发装置,在内容分发网络CDN具有多个节点,在所述节点中具有多个计算设备,所述装置包括:
访问信息统计模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计访问信息;
数据类型确定模块,用于根据所述访问信息确定所述缓存数据的数据类型;
缓存数据分发模块,用于当所述数据类型为目标类型时,将所述缓存数据分发至除当前计算设备之外的其他计算设备。
10.如权利要求9所述的装置,其特征在于,所述访问信息统计模块包括:
访问次数统计子模块,用于在当前节点中对存储在当前计算设备中的缓存数据统计在预设的时间段的访问次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481253.5A CN108234632A (zh) | 2017-12-29 | 2017-12-29 | 一种内容分发网络cdn的数据分发方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481253.5A CN108234632A (zh) | 2017-12-29 | 2017-12-29 | 一种内容分发网络cdn的数据分发方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108234632A true CN108234632A (zh) | 2018-06-29 |
Family
ID=62646279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711481253.5A Pending CN108234632A (zh) | 2017-12-29 | 2017-12-29 | 一种内容分发网络cdn的数据分发方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108234632A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109218225A (zh) * | 2018-09-21 | 2019-01-15 | 广东工业大学 | 一种数据包缓存方法及系统 |
CN110191186A (zh) * | 2019-06-04 | 2019-08-30 | 湖北五五互联科技有限公司 | Cdn服务器调度方法、设备及计算机可读存储介质 |
CN114448812A (zh) * | 2021-12-24 | 2022-05-06 | 天翼云科技有限公司 | 一种汇聚节点分配方法、装置及计算机设备 |
CN114938348A (zh) * | 2021-02-04 | 2022-08-23 | 北京金山云网络技术有限公司 | 一种数据流转发方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050262246A1 (en) * | 2004-04-19 | 2005-11-24 | Satish Menon | Systems and methods for load balancing storage and streaming media requests in a scalable, cluster-based architecture for real-time streaming |
CN103281394A (zh) * | 2013-06-07 | 2013-09-04 | 北京奇虎科技有限公司 | 文件获取方法、节点服务器和系统 |
CN104125162A (zh) * | 2014-07-29 | 2014-10-29 | 小米科技有限责任公司 | 网络资源的访问处理方法及装置 |
CN104702625A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 一种cdn网络中访问请求调度方法及装置 |
CN107249135A (zh) * | 2016-05-31 | 2017-10-13 | 杭州海康威视数字技术股份有限公司 | 视频数据存储系统及其操作方法、以及索引服务器 |
CN107277093A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 内容分发网络及其负载均衡方法 |
-
2017
- 2017-12-29 CN CN201711481253.5A patent/CN108234632A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050262246A1 (en) * | 2004-04-19 | 2005-11-24 | Satish Menon | Systems and methods for load balancing storage and streaming media requests in a scalable, cluster-based architecture for real-time streaming |
CN103281394A (zh) * | 2013-06-07 | 2013-09-04 | 北京奇虎科技有限公司 | 文件获取方法、节点服务器和系统 |
CN104125162A (zh) * | 2014-07-29 | 2014-10-29 | 小米科技有限责任公司 | 网络资源的访问处理方法及装置 |
CN104702625A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 一种cdn网络中访问请求调度方法及装置 |
CN107277093A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 内容分发网络及其负载均衡方法 |
CN107249135A (zh) * | 2016-05-31 | 2017-10-13 | 杭州海康威视数字技术股份有限公司 | 视频数据存储系统及其操作方法、以及索引服务器 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109218225A (zh) * | 2018-09-21 | 2019-01-15 | 广东工业大学 | 一种数据包缓存方法及系统 |
CN109218225B (zh) * | 2018-09-21 | 2022-02-15 | 广东工业大学 | 一种数据包缓存方法及系统 |
CN110191186A (zh) * | 2019-06-04 | 2019-08-30 | 湖北五五互联科技有限公司 | Cdn服务器调度方法、设备及计算机可读存储介质 |
CN114938348A (zh) * | 2021-02-04 | 2022-08-23 | 北京金山云网络技术有限公司 | 一种数据流转发方法、装置、电子设备及存储介质 |
CN114448812A (zh) * | 2021-12-24 | 2022-05-06 | 天翼云科技有限公司 | 一种汇聚节点分配方法、装置及计算机设备 |
CN114448812B (zh) * | 2021-12-24 | 2024-06-11 | 天翼云科技有限公司 | 一种汇聚节点分配方法、装置及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11909639B2 (en) | Request routing based on class | |
CN108173952A (zh) | 一种内容分发网络cdn的数据访问方法和装置 | |
CN108234639A (zh) | 一种基于内容分发网络cdn的数据访问方法和装置 | |
CN108234632A (zh) | 一种内容分发网络cdn的数据分发方法和装置 | |
CN104917851B (zh) | 信息处理方法及dns缓存服务器 | |
US10904352B2 (en) | System and method for facilitating routing | |
CN103051740B (zh) | 域名解析方法、dns服务器及域名解析系统 | |
CN104378452B (zh) | 一种用于域名解析的方法、装置及系统 | |
CN107395683A (zh) | 一种回源路径的选择方法及服务器 | |
CN108234207A (zh) | 一种基于内容分发网络cdn的故障定位方法和装置 | |
CN106067890B (zh) | 一种域名解析方法、装置及系统 | |
CN109981716A (zh) | 一种微服务调用方法及装置 | |
CN108696895A (zh) | 资源获取方法、装置及系统 | |
CN103036967A (zh) | 一种下载管理设备、方法及数据下载系统 | |
CN108234319A (zh) | 一种数据的传输方法和装置 | |
CN107959576B (zh) | 流量计费方法和系统以及缓存装置 | |
CN105095313A (zh) | 一种数据访问方法和设备 | |
CN108173953A (zh) | 一种基于内容分发网络cdn的文件分发方法和装置 | |
CN108200443A (zh) | 一种直播流的分发方法和装置 | |
CN108234638A (zh) | 一种基于内容分发网络cdn的数据处理方法和装置 | |
CN109783258A (zh) | 一种消息处理方法、装置及服务器 | |
CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
CN108234210A (zh) | 一种内容分发网络的日志处理方法和装置 | |
CN108111623A (zh) | 一种基于内容分发网络cdn的通信方法和装置 | |
CN107623580B (zh) | 内容分发网络中的任务处理方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |
|
RJ01 | Rejection of invention patent application after publication |