CN109871181A - 一种对象存取方法及装置 - Google Patents

Abstract

本发明提供一种对象存取方法及装置，包括根据用户的读取请求，获得第一对象的存储索引信息；根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。本发明通过将关联的对象存储在同一数据块中，实现对象的预取由随机访问变为顺序访问，能够有效的缓解磁盘压力，改善文件访问效率。

Description

一种对象存取方法及装置

技术领域

本发明涉及云存储技术领域，尤其涉及一种对象存取方法及装置。

背景技术

Swift(OpenStack Object Storage)是由全球第二大数据中心的Rackspace开发，并于2010年贡献给OpenStack社区后成为其存储服务模块。Swift搭建在比较便宜的标准硬件设备上，出于成本的考虑并没有使用RAID(磁盘冗余阵列)，通过软件层面引入一致性哈希和数据容灾技术。Swift支持多租户模式、容器和对象的读写操作，其具有稳定、扩展性强、成本低等特点，受到越来越多的人重视。

Swift存储系统中由对象服务来完成对用户存储数据维护工作，而对象服务在读写文件时调用本地磁盘文件系统(XFS)，将对象的数据和属性信息以文件的形式保存在磁盘上。系统从磁盘中读取数据时，不会一个扇区一个扇区的读，而是通过连续读取多个扇区，即一次性读取一个块。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在面对越来越多的小文件对象读写的场景下，Swift分布式对象存储系访问带宽会大幅下降，对象访问效率较低。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种对象存取方法及装置，用以克服现有技术中云存储系统中对象读写效率偏低的缺陷，达到减少文件数量，缓解磁盘压力，提高对象访问效率的效果。

本发明实施例提供一种对象存取方法，所述方法包括：

根据用户的读取请求，获得第一对象的存储索引信息；

根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象。

可选地，在本发明一具体实施例中，所述存储索引信息包括：所述第一对象与所述第一数据块的映射关系。

可选地，在本发明一具体实施例中，所述存储索引信息存储在内存中。

可选地，在本发明一具体实施例中，在所述根据用户的读取请求，获得第一对象的存储索引信息的步骤之前，还包括：

根据用户数据，确定与所述第一对象关联的第二对象；

将所述第一对象和所述第二对象存储至第一数据块中。

可选地，在本发明一具体实施例中，在所述根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象的步骤之后，还包括：

根据用户的对象访问操作，更新所述用户数据。

可选地，在本发明一具体实施例中，在所述根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象的步骤之后，还包括：

获得所述用户对所述第一对象的操作增量数据，并将所述第一对象的操作增量数据存储至内存；

当所述内存中一个或者多个对象的操作增量数据的总量大于或者等于预设总量时，将所述一个或者多个对象的操作增量数据转存至磁盘。

本发明实施例还提供一种对象存取装置，所述装置包括：

索引获得模块，用于根据用户的读取请求，获得第一对象的存储索引信息；

预取模块，用于根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象。

可选地，在本发明一具体实施例中，所述存储索引信息包括：所述第一对象与所述第一数据块的映射关系。

可选地，在本发明一具体实施例中，所述存储索引信息存储在内存中。

可选地，在本发明一具体实施例中，还包括：关联模块，用于根据用户数据，确定与所述第一对象关联的第二对象；将所述第一对象和所述第二对象存储至第一数据块中。

可选地，在本发明一具体实施例中，还包括：更新模块，用于根据用户的对象访问操作，更新所述用户数据。

可选地，在本发明一具体实施例中，还包括：转存模块，用于获得所述用户对所述第一对象的操作增量数据，并将所述操作增量数据存储至内存；当所述内存中一个或者多个对象的操作增量数据的总量大于或者等于预设总量时，将所述一个或者多个对象的操作增量数据转存至磁盘。

由以上技术方案可见，本发明实施例提供的对象存取方法及装置可以根据用户的读取请求，获得第一对象的存储索引信息；根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。该方法通过将关联的对象存储在同一数据块中，实现对象的预取由随机访问变为顺序访问，能够有效的缓解磁盘压力，改善文件访问效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的对象存取方法的流程示意图；

图2为本发明另一实施例的对象存取方法的流程示意图；

图3为本发明一实施例的对象存取装置的结构框图；

图4为本发明另一实施例的对象存取装置的结构框图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

图1是本发明一实施例的对象存取方法的流程示意图，如图1所示，一种对象存取方法包括：

步骤S101，根据用户的读取请求，获得第一对象的存储索引信息。

本实施例中，第一对象的存储索引信息用于获得第一对象的存储位置，第一对象存储于第一数据块(DataBlock)中。第一数据块中存储的对象数量不限，可存储除第一对象之外的零个或者至少一个其他对象。

步骤S102，根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。

本实施例中，由于用户对第一对象进行读取操作后还可能会读取与其关联的其他对象，为了提高对象的访问速度，在对第一对象进行读取时可预取与其关联的第二对象，以降低处理器访问数据的停顿时间。第二对象的数量不限，可以为零个或者至少一个。

本实施例中，由于常规的预取方法是建立对象之间的关联规则数据库，当第一对象每次被读取时需要从关联规则数据库中查询是否存在与其关联的至少一个第二对象，当系统存储的对象数量很多时，会导致关联规则数据库较大，从而在执行查询操作时耗费大量的CPU和内存资源。本实施例直接将存在关联关系的对象存储在同一数据块中，在读取特定对象时直接从存储该对象的数据块中预取与该对象关联的其他对象，因此无需在通过对象之间的关联规则数据库查询与该对象关联的其他对象，可减少CPU和内存资源的耗费。

例如，第一对象与第二对象关联，第三对象、第四对象和第五对象关联，可将第一对象和第二对象存储在第一数据块中，将第三对象、第四对象和第五对象存储在第二数据块中。当根据第一对象的存储索引信息读取第一对象时，可根据第一对象的地址信息直接从第一数据块中预取与第一对象关联的第二对象。

由以上本发明实施例可见，本发明可以根据用户的读取请求，获得第一对象的存储索引信息；根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。因此，本发明实施例可以通过将关联的对象存储在同一数据块中，实现对象的预取由随机访问变为顺序访问，能够有效的缓解磁盘压力，改善文件访问效率。

图2是本发明另一实施例的对象存取方法的流程示意图，如图2所示，一种对象存取方法包括：

步骤S200，根据用户数据，确定与第一对象关联的第二对象；将第一对象和第二对象存储至第一数据块中。

本实施例中，用户数据包括用户历史操作数据、用户偏好数据、用户会话特征中的至少其一。可根据用户数据，通过数据挖掘模型设置代表对象之间关联关系强弱的相关率，根据相关率确定出访问关联度高的对象集合，例如将第一对象、与第一对象关联的一个或者多个第二对象确定为一个关联度高的对象集合。

本实施例中，由于不同用户的对象预取需求存在差异，为了提高用户的缓存服务命中率，提高系统的响应速度与访问带宽，可通过日志记录用户数据；然后分析预设时间段内或者全部时间段内的用户数据，获得访问关联度高的对象集合，即确定与第一对象关联的第二对象；再将关联度高的对象集合按照预设存储规则存储至数据块中，并建立包括对象与数据块映射关系的存储索引信息。

具体的，将属于同一关联度高的对象集合的第一对象和第二对象存储至第一数据块中，建立第一对象的存储索引信息和第二对象的存储索引信息。

步骤S201，根据用户的读取请求，获得第一对象的存储索引信息。

本实施例中，第一对象的存储索引信息包括第一对象与第一数据块的映射关系。具体的，可根据用户的读取请求获得第一对象的标识信息；然后利用第一对象的标识信息从索引系统中获得第一对象与第一数据块之间的映射关系；从而通过映射关系和第一数据块的存储位置可间接获得第一对象的存储位置。

本实施例中，存储索引信息存储在内存中。由于将关联度高的对象集合存储在一个数据块中，减少了整个数据系统中的元数据量，使得在内存中可存储大量索引信息，从而减少对象的访问过程中从磁盘读取信息的I/O消耗。

步骤S202，根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。

本实施例中，包括获得用户对第一对象的操作增量数据，并将第一对象的操作增量数据存储至内存；当内存中一个或者多个对象的操作增量数据的总量大于或者等于预设总量时，将一个或者多个对象的操作增量数据转存至磁盘。

具体的，为了减少写入操作时磁盘的寻道时间，并非实时将用户对一个或者多个对象的操作增量数据写入磁盘，而是先存储至内存中，当内存中存储的一个或者多个对象的操作增量数据的总量大于或者等于操作增量数据预设总量时，才执行一次数据转存操作，即将一个或者多个对象的操作增量数据从内存中写入磁盘，从而可以将大量的随机写入转化为一次连续写入。

步骤S203，根据用户的对象访问操作，更新用户数据。

本实施例中，在预取至少一个第二对象后，可首先将第二对象读入缓存；然后获取用户的对象访问操作；根据用户的对象访问操作，更新用户数据。具体的，用户的对象访问操作包括用户是否读取第二对象、对第二对象的操作时长、频率中的至少其一。

本实施例中，利用更新后的用户数据执行步骤S200，可重新确定与第一对象关联的第二对象，从而提高后续数据预取的准确率。具体的，可根据更新后的用户数据，利用数据挖掘模型重新计算第一对象和第二对象的相关率，以确定第一对象和第二对象的是否仍属于关联度高的同一对象集合，即第一对象是否仍与第二对象关联；如果否，则可重新调整第一对象和第二对象的存储位置，将第一对象和第二对象存储至不同数据块中，即重新划分数据块。

由以上本发明实施例可见，本发明可以根据用户数据，确定与第一对象关联的第二对象，将第一对象和第二对象存储至第一数据块中，从而可基于用户访问数据的特点进行对象的预取。此外，还可根据用户的操作进行对象存储和预取的调整，有效增加缓存服务的命中率，提高系统的响应速度与访问带宽。

图3是本发明一实施例的对象存取装置的结构框图，如图3所示，一种对象存取装置，包括：

索引获得模块301，用于根据用户的读取请求，获得第一对象的存储索引信息；

预取模块302，用于根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。

上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

需要说明的是，对象存取装置并不局限于图3这种特定结构，在本实施例的启发下，本领域普通技术人员还可以使用其他可替代方案，详细不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

图4是本发明另一实施例的对象存取装置的结构框图，如图4所示，一种对象存取装置，包括：

索引获得模块401，用于根据用户的读取请求，获得第一对象的存储索引信息；

预取模块402，用于根据存储索引信息，从第一数据块中读取第一对象以及预取与第一对象关联的第二对象。

本实施例中，存储索引信息包括：第一对象与第一数据块的映射关系。

本实施例中，存储索引信息存储在内存中。

本实施例中，还包括：关联模块400，用于根据用户数据，确定与第一对象关联的第二对象；将第一对象和第二对象存储至第一数据块中。

本实施例中，还包括：更新模块403，用于根据用户的对象访问操作，更新用户数据。

本实施例中，还包括：转存模块，用于获得用户对第一对象的操作增量数据，并将操作增量数据存储至内存；当内存中一个或者多个对象的操作增量数据的总量大于或者等于预设总量时，将一个或者多个对象的操作增量数据转存至磁盘。

上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

需要说明的是，对象存取装置并不局限于图4这种特定结构，在本实施例的启发下，本领域普通技术人员还可以使用其他可替代方案，详细不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包括有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种对象存取方法，其特征在于，所述方法包括：

根据用户的读取请求，获得第一对象的存储索引信息；

根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象。

2.根据权利要求1所述的对象存取方法，其特征在于，所述存储索引信息包括：

所述第一对象与所述第一数据块的映射关系。

3.根据权利要求1所述的对象存取方法，其特征在于，所述存储索引信息存储在内存中。

4.根据权利要求1所述的对象存取方法，其特征在于，在所述根据用户的读取请求，获得第一对象的存储索引信息的步骤之前，还包括：

根据用户数据，确定与所述第一对象关联的第二对象；

将所述第一对象和所述第二对象存储至第一数据块中。

5.根据权利要求4所述的对象存取方法，其特征在于，在所述根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象的步骤之后，还包括：

根据用户的对象访问操作，更新所述用户数据。

6.根据权利要求1所述的对象存取方法，其特征在于，在所述根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象的步骤之后，还包括：

获得所述用户对所述第一对象的操作增量数据，并将所述第一对象的操作增量数据存储至内存；

当所述内存中一个或者多个对象的操作增量数据的总量大于或者等于预设总量时，将所述一个或者多个对象的操作增量数据转存至磁盘。

7.一种对象存取装置，其特征在于，所述装置包括：

索引获得模块，用于根据用户的读取请求，获得第一对象的存储索引信息；

预取模块，用于根据所述存储索引信息，从第一数据块中读取所述第一对象以及预取与所述第一对象关联的第二对象。

8.根据权利要求7所述的对象存取装置，其特征在于，所述存储索引信息包括：

所述第一对象与所述第一数据块的映射关系。

9.根据权利要求7所述的对象存取装置，其特征在于，还包括：

关联模块，用于根据用户数据，确定与所述第一对象关联的第二对象；将所述第一对象和所述第二对象存储至第一数据块中。

10.根据权利要求9所述的对象存取装置，其特征在于，还包括：

更新模块，用于根据用户的对象访问操作，更新所述用户数据。