CN106055706B - 一种缓存资源存储方法及装置 - Google Patents

Abstract

本申请提供一种缓存资源存储方法及装置，所述方法包括：本发明装置收到目标资源的存储请求后，根据目标资源的属性从预设的资源分级配置表中查询对应的资源级别ID，根据所述资源级别ID，查询对应该资源级别ID的权重最高的磁盘，将目标资源存储到所述磁盘中。由于本发明实施例在存储缓存资源时，动态地选择此类缓存资源的权重最高的磁盘，所以可以均匀使用每个磁盘的空间，减少因磁盘空间闲置造成的浪费。

Description

一种缓存资源存储方法及装置

技术领域

本申请涉及网络通信技术，特别涉及一种缓存资源存储方法及装置。

背景技术

伴随着用户规模的不断扩大以及数据中心和云计算业务的不断丰富，用户对网络出口带宽及速度提出了更高的要求。在应用业务上，在线影音视频、高速下载、移动终端业务等各种可以给客户带来高快速更好用户体验的业务正在用户中普及。互联网集团用户，如大型企业、学校和政府等，在连接集团用户内网客户端与互联网外网的关隘位置，网络出口管理遭遇了高速宽带与多业务流量的双重压力。缓存服务器可用于解决此类问题，通过缓存用户第一次访问的资源，给其他访问该资源的用户分发该资源，从而减少用户的带宽。

缓存服务器将缓存的文件存储到磁盘中，通过对资源的名称或资源的URL(Uniform Resource Locator，统一资源定位符)进行hash计算得到hash值，然后把该资源存储到与该hash值对应的磁盘里。然而，由于存储的文件大小可能存在差异，因此通过该方法并不能均匀地利用每个磁盘的存储空间，从而导致存储资源的浪费。

发明内容

有鉴于此，本申请提供一种缓存资源存储方法及装置，以使缓存文件存储到磁盘中时可均匀分布在各个磁盘当中。

具体地，本申请是通过如下技术方案实现的：

一种缓存资源存储方法，包括：

收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；其中，所述资源分级配置表包括资源属性、对应于所述资源属性的资源级别ID、各磁盘对应于所述资源属性的资源数量以及基于所述资源数量为各磁盘配置的资源分配权重；

根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘；

将所述目标资源存储到所述资源分配权重最高的目标磁盘中。

所述缓存资源存储方法，还包括：

基于所存储资源的资源属性为各磁盘划分若干资源级别，其中，每一个资源级别分别对应一个资源级别ID；

基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重；

基于所述资源级别、所述资源级别ID、各磁盘的所述资源数量及各资源级别对应于各磁盘的权重，创建所述资源分级配置表。

在所述缓存资源存储方法中，所述资源属性，包括：

资源大小、资源类型、资源URL以及资源名称中的任一。

在所述缓存资源存储方法中，基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重，包括：

统计划分出的各资源级别在各磁盘上的资源数量或者资源大小；

基于统计出的所述资源数量或资源大小为各资源级别配置对应于各磁盘的资源分配权重；其中，为各资源级别配置的对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量或者资源大小成反比。

在所述缓存资源存储方法中，将目标资源存储到权重最高的磁盘，还包括：

当有多个资源分配磁盘权重相同的磁盘时，从所述多个资源分配权重相同的磁盘中为所述目标资源随机分配目标磁盘；

将所述目标资源存储到随机分配的所述目标磁盘中。

在所述缓存资源存储方法中，还包括：

当将所述目标资源存储到所述目标磁盘后，将所述目标资源的资源标识及存储位置写入资源映射表中；所述资源映射表包括资源标识和资源的存储位置的对应关系；

接收到针对目标资源的访问请求时，根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与所述存储位置对应的磁盘中返回资源。

一种缓存资源存储装置，包括：

资源分级查询模块，用于收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；其中，所述资源分级配置表包括资源属性、对应于所述资源属性的资源级别ID、各磁盘对应于所述资源属性的资源数量以及基于所述资源数量为各磁盘配置的资源分配权重；

资源处理模块，用于根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘，将所述目标资源存储到所述资源分配权重最高的目标磁盘中。

所述缓存资源存储装置，还包括：

资源分级划分模块，用于基于所存储资源的资源属性为各磁盘划分若干资源级别，其中，每一个资源级别分别对应一个资源级别ID；

权重分配模块，用于基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重；

资源分级配置模块，用于基于所述资源级别、所述资源级别ID、各磁盘的所述资源数量及各资源级别对应于各磁盘的权重，创建所述资源分级配置表。

在所述缓存资源存储装置中，所述资源分级划分模块划分资源级别依据的资源属性，包括：

资源大小、资源类型、资源URL以及资源名称中的任一。

在所述缓存资源存储装置中，所述权重分配模块，具体用于：

统计划分出个资源级别在各磁盘上的资源数量或者资源大小；

基于统计出的所述资源数量或资源大小为各资源级别配置对应于各磁盘的资源分配权重；其中，为各资源级别配置的对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量和资源大小成反比。

在所述缓存资源存储装置中，所述资源处理模块，进一步用于：

当有多个资源分配磁盘权重相同的磁盘时，从所述多个资源分配权重相同的磁盘中为所述目标资源随机分配目标磁盘，将所述目标资源存储到随机分配的所述目标磁盘中。

在所述缓存资源存储装置中，所述资源处理模块，进一步用于：

当将所述目标资源存储到所述目标磁盘后，将所述目标资源的资源标识及存储位置写入资源映射表中；所述资源映射表包括资源标识和资源的存储位置的对应关系；

接收到针对目标资源的访问请求时，根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与所述存储位置对应的磁盘中返回资源。

由以上本发明实施例提供的技术方案可见，本发明实施例通过存储缓存资源前先根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘，由于在本申请中，资源分配权重是基于与资源属性对应的资源数量或者资源大小分配的动态值，实现了可以将所述目标资源动态存储到所述资源分配权重最高的目标磁盘中，从而可以提升在缓存资源时均匀利用各个磁盘的存储空间。

附图说明

图1是本发明缓存资源存储方法的一个实施例流程图；

图2是本发明缓存资源存储装置的一种硬件结构图；

图3是本发明缓存资源存储装置的一个实施例框图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中的技术方案作进一步详细的说明。

请参见图1，图1为本例示出的一种缓存资源存储方法的流程图，应用于存储服务器，上述存储服务器包括多个硬盘，包括如下步骤：

步骤101：收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；其中，所述资源分级配置表包括资源属性、对应于所述资源属性的资源级别ID、各磁盘对应于所述资源属性的资源数量以及基于所述资源数量为各磁盘配置的资源分配权重。

上述存储服务器可以是视频网站的内容存储服务器、PC或者其它类型的存储设备。

上述的资源分级配置表的建立过程为：

基于资源属性，划分若干资源级别，每个资源级别对应一个资源级别的ID；其中，上述资源属性包括资源大小、资源类型、资源URL和资源名称中的任意一种。上述资源级别ID可以是数字或字母等。

例如，在示出的一种实施例方式中，以上述资源属性为资源大小，为各磁盘划分资源级别为例，具体的划分方式可以如下表1所示：

文件大小	资源级别ID
		0<size≤100M	0
100M<size≤1G	1
		1G<size≤4G	2
4G<size≤10G	3
		10G<size≤20G	4

表1

通过表1可见，当上述资源属性为资源大小时，可以基于文件的实际大小，划分出若干个文件大小的区间，然后将每一个文件大小的区间分别作为一个资源级别，并设置对应的资源级别ID。

又如，在示出的另一种实施方式中，以上述资源属性为资源类型，为各磁盘划分资源级别为例，具体的划分方式如下表2所示：

资源类型	资源级别ID
		安装软件资源	0
视频资源	1
		音乐资源	2
移动APP资源	3
		其他	4

表2

通过表2可见，当上述资源属性为资源类型时，可以基于文件的类型，划分出若干个资源类型的分类，然后将每一种资源类型的分类分别作为一个资源级别，并设置对应的资源级别ID。

在本例中，当划分完成后，还可以统计分布在各磁盘上的与划分出的各资源级别对应的资源数量或者资源大小。比如，按照文件大小划分级别时，扫描各硬盘中与该级别大小对应的文件，然后统计各磁盘中该级别文件的资源数量，或者，统计各磁盘中与该级别大小对应的文件，然后统计各磁盘中该级别文件的总计的资源大小。例如，以上述存储服务器包含3个磁盘、统计资源数量为例，统计信息可以如下表3所示：

表3

通过表3可见，当按照资源大小划分级别时，统计各磁盘中该级别文件的资源数量，各磁盘中的各级别的资源数量与资源级别ID一一对应。

又如，按照资源类型划分级别时，扫描各硬盘中与该资源类型对应的文件，然后统计各磁盘中该级别文件的总计的资源数量，或者，统计各磁盘中与该资源类型对应的文件，然后统计各磁盘中该级别文件的总计的资源大小。例如，以上述存储服务器包含3个磁盘、统计资源数量为例，统计信息如下表4所示：

表4

通过表4可见，当按照资源类型划分级别时，统计各磁盘中该级别文件的资源数量，各磁盘中的各级别的资源数量与资源级别ID一一对应。

在本例中，当统计完成后，还可以基于预设的策略为各资源级别配置对应于各磁盘的资源分配权重。分配策略是基于统计出的所述资源数量为各资源级别配置对应于各磁盘的资源分配权重，其中，为各资源级别配置对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量成反比。

或者，是基于统计出的所述资源大小为各资源级别配置对应于各磁盘的资源分配权重，其中，为各资源级别配置对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源大小成反比。

如果出现某个资源级别ID的资源数量或资源大小在若干个磁盘中相同，则对此资源级别ID的资源而言，这几个磁盘的权重也相同。例如，在示出的一种实现方式中，仍以上述存储服务器包含3个磁盘为例，基于资源数量为各资源级别配置对应于各磁盘的资源分配权重的分配情况可以如下表5所示：

表5

其中，在上表5中，权重值的取值越小，表示分配的资源分配权重越高。

又如，按照资源类型划分级别时，在示出的一种实现方式中，仍以上述存储服务器包含3个磁盘为例，基于资源数量为各资源级别配置对应于各磁盘的资源分配权重的分配情况可以如下表6所示：

表6

其中，在上表6中，权重值的取值越小，表示分配的资源分配权重越高。

在本例中，当权重分配完成后，还可以基于所述资源级别、所述资源级别ID、各磁盘的所述资源数量或者资源大小及各资源级别对应于各磁盘的权重，创建所述资源分级配置表。所述资源配置表中，所述资源级别和所述资源级别ID、各磁盘的所述资源数量或者资源大小及各资源级别对应于各磁盘的权重一一对应。例如，在示出的一种实现方式中，仍以上述存储服务器包含3个磁盘为例，所述资源分级配置表如下表7所示：

表7

通过表7可见，依照资源大小划分资源级别时，基于文件的实际大小，划分出若干个文件大小的区间，然后将每一个文件大小的区间分别作为一个资源级别，并设置对应的资源级别ID。统计各磁盘中各个级别的资源数量，并据此分配资源分配权重。

又如，按照资源类型划分级别时，在示出的一种实现方式中，仍以上述存储服务器包含3个磁盘为例，所述资源分级配置表如下表8所示：

表8

通过表8可见，依照资源类型划分资源级别时，可以基于文件的类型，划分出若干个资源类型的分类，然后将每一种资源类型的分类分别作为一个资源级别，并设置对应的资源级别ID。统计各磁盘中各个级别的资源数量，并据此分配资源分配权重。

步骤102：根据该资源级别ID，在上述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘。

查询到资源级别ID后，可以根据该资源级别ID继续在上述资源分级配置表中，查询对应的各个磁盘的资源分配权重中最大的那一个。例如，请参见表7，假设该资源的大小是125M，从表7中查询可知，其资源级别ID为1。查询资源级别ID对应的资源分配权重为1的目标磁盘，该目标磁盘是磁盘1。

又如，按照资源类型划分级别时，参见表8，假设该资源是音乐资源，从表8中查询可知，其资源级别ID为2。查询资源级别ID对应的资源分配权重为1的目标磁盘，该目标磁盘时磁盘2。

步骤103：将上述目标资源存储到上述资源分配权重最高的目标磁盘中。

当根据该资源级别ID，在上述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘后，可以将目标资源存储到上述资源分配权重最高的目标磁盘中。仍以上述目标资源的文件大小是125M为例，查询资源分级配置表，即表7，目标磁盘是磁盘1，将该目标资源存储到磁盘1中。

又如，按照资源类型划分级别时，假设该资源是音乐资源，从表8中查询可知，其资源级别ID为2，目标磁盘时磁盘2，将所述目标资源存储到磁盘2中。

通过这种方式，在向各磁盘不断存储目标资源的过程中，由于各资源级别在各磁盘上的资源分配权重，与各资源级别在各磁盘上的资源数量有关，而划分出的各资源级别在各磁盘上的资源数量，会不断发生变化，因此资源分配权重最高的目标磁盘实质上也会动态发生变化，从而可以均匀利用各个磁盘的存储空间。

当然，在向各磁盘存储目标资源的过程中，如果有多个资源分配磁盘权重相同的磁盘时，从上述多个资源分配权重相同的磁盘中为该目标资源随机分配目标磁盘，将该目标资源存储到随机分配的上述目标磁盘中。或者，可以计算该多个资源分配磁盘权重相同的磁盘的剩余空间大小，将该目标资源存储到该多个资源分配磁盘权重相同的磁盘中剩余空间最大的目标磁盘中。

在本例中，当将该目标资源存储到上述目标磁盘后，还可以将上述目标资源的资源标识及存储位置写入资源映射表中；其中，上述资源映射表可以包括资源标识和资源的存储位置的对应关系，从而后续在接收到针对某个目标资源的访问请求时，可以通过查询该资源映射表来获取所要请求的该目标资源的存储位置。

例如，仍以上述目标资源的文件大小是125M、存储服务器包含3个磁盘为例，资源标识可以是文件名，该目标资源的文件名是资源A。上述资源映射表包含的内容可以如下表9所示：

文件名	存储位置
		资源A	磁盘1

表9

在本例中，当接收到针对某个目标资源的访问请求时，可以根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与该存储位置对应的磁盘中返回资源。

通过以上实施例可见，存储服务器收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；根据该资源级别ID，在上述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘，由于在本申请中，资源分配权重是基于资源属性对应的资源数量分配的动态值，实现了可以将上述目标资源动态存储到上述资源分配权重最高的目标磁盘中，从而可以提升在缓存资源时均匀利用各个磁盘的存储空间。

与本发明缓存资源存储方法的实施例相对应，本发明还提供了用于执行上述方法的缓存资源存储装置的实施例。

本申请缓存资源存储装置的实施例可以应用在存储服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在存储服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本申请缓存资源存储装置所在存储服务器的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的存储服务器通常根据该缓存资源存储装置的实际功能，还可以包括多个磁盘。

参见图3，为本发明缓存资源存储装置的一个实施例框图：

该装置30包括：资源分级划分模块310、权重分配模块320、资源分级配置模块330、资源分级查询模块340和资源处理模块350。

其中，资源分级划分模块310，用于基于所存储资源的资源属性为各磁盘划分若干资源级别，其中，每一个资源级别分别对应一个资源级别ID。所述资源属性可以是资源大小、资源类型、资源URL以及资源名称中的任一。

权重分配模块320，用于基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重。具体用于统计划分出各资源级别在各磁盘上的资源数量或者资源大小；基于统计出的所述资源数量或资源大小为各资源级别配置对应于各磁盘的资源分配权重；其中，为各资源级别配置的对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量或者资源大小成反比。

资源分级配置模块330，用于基于划分出的所述资源级别、所述资源属性、对应于所述资源属性的资源级别ID、各磁盘的对应于所述资源属性的资源数量及基于所述资源数量为各磁盘配置的资源分配权重，创建资源分级配置表。

资源分级查询模块340，用于收到目标资源的存储请求后，根据目标资源的资源属性从所述资源分级配置表中查询对应的资源级别ID。

资源处理模块350，用于根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘，当有多个资源分配权重相同的磁盘时，从所述多个资源分配权重相同的磁盘中为所述目标资源随机分配目标磁盘，将所述目标资源存储到所述目标磁盘中。具体用于当将所述目标资源存储到所述目标磁盘后，将所述目标资源的资源标识及存储位置写入资源映射表中；所述资源映射表包括资源标识和资源的存储位置的对应关系；进一步用于接收到针对目标资源的访问请求时，根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与所述存储位置对应的磁盘中返回资源。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种缓存资源存储方法，其特征在于，包括：

收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；其中，所述资源分级配置表包括资源属性、对应于所述资源属性的资源级别ID、各磁盘对应于所述资源属性的资源数量以及基于所述资源数量为各磁盘配置的资源分配权重；

其中,创建所述资源分级配置表的过程包括:基于所存储资源的资源属性为各磁盘划分若干资源级别，其中，每一个资源级别分别对应一个资源级别ID；基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重；基于所述资源级别、所述资源级别ID、各磁盘的所述资源数量及各资源级别对应于各磁盘的权重，创建所述资源分级配置表；

所述预设策略包括：统计划分出的各资源级别在各磁盘上的资源数量或者资源大小；基于统计出的所述资源数量或资源大小为各资源级别配置对应于各磁盘的资源分配权重；其中，为各资源级别配置的对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量或者资源大小成反比；

根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘；

将所述目标资源存储到所述资源分配权重最高的目标磁盘中。

2.根据权利要求1所述的方法，其特征在于，所述资源属性，包括：

资源大小、资源类型、资源URL以及资源名称中的任一。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当有多个资源分配磁盘权重相同的磁盘时，从所述多个资源分配权重相同的磁盘中为所述目标资源随机分配目标磁盘；

将所述目标资源存储到随机分配的所述目标磁盘中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当将所述目标资源存储到所述目标磁盘后，将所述目标资源的资源标识及存储位置写入资源映射表中；所述资源映射表包括资源标识和资源的存储位置的对应关系；

接收到针对目标资源的访问请求时，根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与所述存储位置对应的磁盘中返回资源。

5.一种缓存资源存储装置，其特征在于，包括：

资源分级查询模块，用于收到目标资源的存储请求后，根据目标资源的资源属性从预设的资源分级配置表中查询对应的资源级别ID；其中，所述资源分级配置表包括资源属性、对应于所述资源属性的资源级别ID、各磁盘对应于所述资源属性的资源数量以及基于所述资源数量为各磁盘配置的资源分配权重；

资源分级划分模块，用于基于所存储资源的资源属性为各磁盘划分若干资源级别，其中，每一个资源级别分别对应一个资源级别ID；权重分配模块，用于基于预设的策略为划分出的各资源级别配置对应于各磁盘的资源分配权重；资源分级配置模块，用于基于所述资源级别、所述资源级别ID、各磁盘的所述资源数量及各资源级别对应于各磁盘的权重，创建所述资源分级配置表；

其中，所述权重分配模块，具体用于：统计划分出各资源级别在各磁盘上的资源数量或者资源大小；基于统计出的所述资源数量或资源大小为各资源级别配置对应于各磁盘的资源分配权重；其中，为各资源级别配置的对应于各磁盘的资源分配权重的大小，与各资源级别在各磁盘上的资源数量或者资源大小成反比；

资源处理模块，用于根据所述资源级别ID，在所述资源分级配置表中查询与该资源级别ID对应的资源分配权重最高的目标磁盘，将所述目标资源存储到所述资源分配权重最高的目标磁盘中。

6.根据权利要求5所述的装置，其特征在于，所述资源属性，包括：

资源大小、资源类型、资源URL以及资源名称中的任一。

7.根据权利要求5所述的装置，其特征在于，所述资源处理模块，进一步用于：

当有多个资源分配磁盘权重相同的磁盘时，从所述多个资源分配权重相同的磁盘中为所述目标资源随机分配目标磁盘，将所述目标资源存储到随机分配的所述目标磁盘中。

8.根据权利要求5所述的装置，其特征在于，所述资源处理模块进一步用于：

当将所述目标资源存储到所述目标磁盘后，将所述目标资源的资源标识及存储位置写入资源映射表中；所述资源映射表包括资源标识和资源的存储位置的对应关系；

接收到针对目标资源的访问请求时，根据该目标资源的资源标识从资源映射表中获取对应的存储位置，并从与所述存储位置对应的磁盘中返回资源。