CN109101259B - 一种OSDMap缓存容器的更新方法、装置及终端 - Google Patents

Abstract

本发明公开了一种OSDMap缓存容器的更新方法，包括：当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；利用机器学习算法对该版本号进行分析，得到预判版本号；查询OSDMap缓存容器中是否存在预判版本号；若否，则生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中；该方法能够主动预测用户所需版本的OSDMap，并提前将对应的OSDMap插入到OSDMap缓存容器中，进而避免用户在需要使用时进行查询、构造、反序列化等操作，大幅度提高运行效率。本发明还公开了一种OSDMap缓存容器的更新装置、终端及计算机可读存储介质，同样具有上述有益效果。

Description

一种OSDMap缓存容器的更新方法、装置及终端

技术领域

本发明涉及分布式文件系统领域，特别涉及一种OSDMap缓存容器的更新方法、装置、终端及计算机可读存储介质。

背景技术

分布式文件系统中的OSD模块简称OSD，其中，OSD(Object-based StorageDevice，对象存储设备)。OSD在处理PG(Placement Group，归置组可以理解为数据分布的一种逻辑单元)相关业务以及其他OSD的请求时需要获取OSDMap。OSDMap可以理解为一个数据结构，其包括Pool集合(可以理解为对象池)，副本数，PG数量，OSD集合和OSD状态等信息。

现有技术中OSD获取OSDMap的方式是从存储OSDMap的一个作为缓存的容器(map_cache可以称之为OSDMap缓存容器)中得到的。该数据结构是一个指定大小的、特殊的Map结构，该Map的key为版本号，value为对应版本的OSDMap。目前，该Map配置大小为200，即最多存储200个版本的OSDMap。当OSD想获取某个版本的OSDMap，当该版本OSDMap并不存在于OSDMap缓存容器中时，就会从本地数据库中查询该版本OSDMap，在从数据库中查询到该版本OSDMap以后就会构造一个OSDMap结构，并根据数据库中的数据对新构造的OSDMap结构进行反序列化，这样就得到一个OSD所需要版本的OSDMap了，该OSDMap最终会被插入到OSDMap缓存容器中。

由于本地数据库是存储在物理磁盘中，因此查询数据库得到对应版本OSDMap的过程会比较慢，并且反序列化过程也比较慢。所以当OSD需要获取某个不在OSDMap缓存容器中的OSDMap时就会影响执行效率。

发明内容

本发明的目的是提供一种OSDMap缓存容器的更新方法、装置、终端及计算机可读存储介质，能够省掉了查询数据库、构造以及反序列化消耗的时间，提高系统运行效率。

为解决上述技术问题，本发明提供一种OSDMap缓存容器的更新方法，包括：

当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；

利用机器学习算法对所述历史访问OSDMap的版本号进行分析，得到预判版本号；

查询所述OSDMap缓存容器中是否存在所述预判版本号；

若否，则生成所述预判版本号对应的OSDMap并将所述OSDMap插入到所述OSDMap缓存容器中。

可选的，所述更新方法还包括：

通过确定启动定时器中的数值为预设值来检测所述预设事件。

可选的，所述历史访问OSDMap的版本号的生成方式，包括：

对每次用户访问的OSDMap的版本号进行统计，形成所述历史访问OSDMap的版本号。

可选的，所述利用机器学习算法对所述版本号进行分析，得到预判版本号，包括：

利用机器学习的线性回归算法对所述版本号进行分析，得到预判版本号。

可选的，生成所述预判版本号对应的OSDMap，包括：

利用本地数据库构造所述预判版本号对应的OSDMap结构；

对所述OSDMap结构进行反序列化生成OSDMap所述预判版本号对应的OSDMap。

本发明还提供一种OSDMap缓存容器的更新装置，包括：

数据获取模块，用于当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；

预判断模块，用于利用机器学习算法对所述历史访问OSDMap的版本号进行分析，得到预判版本号；

查询模块，用于查询所述OSDMap缓存容器中是否存在所述预判版本号；

更新模块，用于若所述OSDMap缓存容器中不存在所述预判版本号，则生成所述预判版本号对应的OSDMap并将所述OSDMap插入到所述OSDMap缓存容器中。

可选的，所述更新装置还包括：

预设事件检测模块，用于通过确定启动定时器中的数值为预设值来检测所述预设事件。

可选的，所述预判断模块具体为利用机器学习的线性回归算法对所述版本号进行分析，得到预判版本号的模块。

本发明还提供一种终端，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述的OSDMap缓存容器的更新方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的OSDMap缓存容器的更新方法的步骤。

本发明所提供的一种OSDMap缓存容器的更新方法，包括：当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；利用机器学习算法对历史访问OSDMap的版本号进行分析，得到预判版本号；查询OSDMap缓存容器中是否存在预判版本号；若否，则生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中。

可见，该方法通过机器学习算法能够主动预测用户所需版本的OSDMap，并在OSDMap缓存容器中不存在该预判版本号时，提前将对应的OSDMap插入到OSDMap缓存容器中，进而避免用户在需要使用该预判版本对应的OSDMap时才进行查询、构造、反序列化等操作，大幅度提高运行效率。本发明还提供了一种OSDMap缓存容器的更新装置、终端及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的OSDMap缓存容器的更新方法的流程图；

图2为本发明实施例所提供的OSDMap缓存容器的更新装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中为了避免现有技术中当OSDMap缓存容器中不存在用户所需要版本的OSDMap时，需要在OSDMap缓存容器中插入对应版本的OSDMap过程中存在的查询、构造以及反序列化过程，而这一过程速度较慢，因此会影响执行效率。本实施例中通过机器学习算法及时更新OSDMap缓存容器中的OSDMap，使得用户未来可能使用到的版本的OSDMap提前插入到OSDMap缓存容器中，进而避免在使用时才进行插入的过程，进而克服现有技术中的缺点。具体请参考图1，图1为本发明实施例所提供的OSDMap缓存容器的更新方法的流程图；该更新方法可以包括：

S101：当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号。

具体的，本实施例中并不对预设事件的具体内容进行限定。例如可以是接收到触发更新操作的信号；也可以是通过计时器等设置预设周期的脚本来触发更新操作；也可以是在历史访问OSDMap的版本号更新时触发更新操作；当然也可以是它们之间的结合，例如在历史访问OSDMap的版本号更新时启动器，在预设周期后执行后续操作，实现对OSDMap缓存容器的更新。对应的本实施例中也不对检测到触发更新操作的预设事件的方式进行限定，其需要与对应的预设事件的具体内容相对应。

例如当预设事件为接收到触发更新操作的信号时，对应的检测到触发更新操作的预设事件具体为确定接收到触发更新操作的信号来检测预设事件；当预设事件为设置预设周期的脚本来触发更新操作时，对应的检测到触发更新操作的预设事件具体为通过确定启动定时器中的数值为预设值来检测预设事件；当预设事件为历史访问OSDMap的版本号更新时，对应的检测到触发更新操作的预设事件具体为通过确定存在历史访问OSDMap的版本号更新来检测预设事件。

优选的，为了提高硬件资源利用率，避免重复多次进行预判，本实施例中通过确定启动定时器中的数值为预设值来检测预设事件。即设定定时器，按照预设周期进行OSDMap缓存容器的更新，比保证了OSDMap缓存容器中版本的可靠性，又避免了硬件资源的浪费。本实施例中并不限定定时器设置的预设周期的具体数值。

在检测到触发更新操作的预设事件时，需要执行后续步骤实现对OSDMap缓存容器的更新，以满足用户对于OSDMap的需求。为了更新准确，本实施例中需要首先获取历史访问OSDMap的版本号，本实施例并不限定历史访问OSDMap的版本号的获取方式，例如可以是每次用户获取OSDMap时，记录用户所需的OSDMap的版本号。具体的，对每次用户访问的OSDMap的版本号进行统计，形成历史访问OSDMap的版本号。即在OSD获取OSDMap时将该版本号插入机器学习采样的数据集中，在本实施例中即历史访问OSDMap的版本号对应的数据集中。

进一步，本实施例中并不限定历史访问OSDMap的版本号的存储形式，例如可以设置数据库存储OSDMap的版本号。当然也可以是通过列表存储历史访问OSDMap的版本号。用户可以根据实际硬件的存储情况进行选择。

S102：利用机器学习算法对历史访问OSDMap的版本号进行分析，得到预判版本号。

本实施例中并不对机器学习算法进行限定，用户可以根据硬件实际的计算能力，以及用户对预判版本号的准确程度进行选择。进一步，为了提高预判版本号可靠性，优选的，本实施例中利用机器学习的线性回归算法对版本号进行分析，得到预判版本号。

本实施例时根据历史访问数据中版本号的规律来对未来用户所需要的版本号进行预测，因此历史访问OSDMap的版本号数量越多，机器学习算法预测的准确性越高。即当OSD需要获取OSDMap时，该OSDMap就基本已经存储在OSDMap缓存容器中。此时机器学习算法越可靠，在OSD需要获取OSDMap时，预判版本号命中率就越高，进而需要在OSD需要获取OSDMap时进行重新查询、构造、反序列化等操作可能性就越小。因此本实施例可以大幅度提高运行效率。当然为了保证机器学习算法能够实现预测功能，需要一定量的初始数据，即需要一定量的历史访问OSDMap的版本号(例如100个历史访问OSDMap的版本号)才能够开始执行预测操作得到预判版本号。具体的，当机器学习算法的数据集(本实施例中即指历史访问OSDMap的版本号)中的数据个数超过一定数值(100个)时，利用机器学习的线性回归算法对数据进行分析，得到预判版本号，即预判的OSDMap版本。

本实施例中并不限定得到的预判版本号的数量，其可以是一个，当然也可以是多个。当预判版本号的数量为1时，执行后续步骤(如步骤S103以及步骤S104或步骤S105)；当预判版本号的数量为多个时，针对每一个预判版本号均执行后续步骤(如步骤S103以及步骤S104或步骤S105)。

S103：查询OSDMap缓存容器中是否存在预判版本号；若否，则进入S104。

在步骤S102确定了后续用户可能会获取的OSDMap的预判版本号，本步骤就是为了确定当前OSDMap缓存容器是否存在预判版本号对应的OSDMap。若已经存在，则证明用户在需要的时候可以直接从OSDMap缓存容器中获取对应的OSDMap。若不存在，则证明用户在需要的时候不能够直接从OSDMap缓存容器中获取对应的OSDMap，因此需要提前在OSDMap缓存容器中准备好对应的OSDMap，以避免用户需要在获取时执行查询、构造以及反序列化等一系列操作，大幅度提高运行效率。

本实施例并不限定查询的具体过程，例如可以是将每一个预判版本号与OSDMap缓存容器中已存在的版本号进行对比，判断是否存在。

S104：生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中。

当OSDMap缓存容器中存在没有预判版本号对应的OSDMap时，需要获取对应的OSDMap，并将其存储到OSDMap缓存容器中。即在本地数据库中查询该预判版本OSDMap并构造对应OSDMap结构以及进行反序列化，最终插入OSDMap缓存容器(即map_cache)中。具体的，利用本地数据库构造预判版本号对应的OSDMap结构；对OSDMap结构进行反序列化生成OSDMap预判版本号对应的OSDMap，并将该OSDMap插入到OSDMap缓存容器中。

为了不影响主流程或者理解为前台正在运行的程序，该步骤中生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中可以是在机器学习的定时器中进行，以实现不会影响主流程的目的。

S105：直接结束更新操作。

当OSDMap缓存容器中存在预判版本号对应的OSDMap时，则可以不进行更新操作，即可以直接结束本次更新操作。

下面简单说明上述实施例的具体过程：通过机器学习算法，对每次获取的OSDMap的版本号进行统计，并在触发更新操作时，对历史访问OSDMap的版本号进行分析，并在OSD下一次获取OSDMap前对要获取的OSDMap的版本号进行预判，得到若干个可能的版本即预判版本号。并在OSDMap缓存容器中不存在对应的预判版本号的OSDMap时提前查询本地数据库、构造OSDMap结构以及反序列化，最终插入到OSDMap缓存容器中。这样当OSD获取预判版本号对应的OSDMap时该OSDMap就已经存储在OSDMap缓存容器中，进而不需要重新查询、构造、反序列化等操作，大幅度提高运行效率。

基于上述技术方案，本发明实施例提供的一种OSDMap缓存容器的更新方法，可以大大减少不必要的时间消耗，并且在机器学习算法采样的数据(历史访问OSDMap的版本号)越来越多时，预判的准确率会越来越高，这样能够提前将期望版本的OSDMap准备好，省掉了查询数据库、构造OSDMap结构以及反序列化等消耗的时间，提高系统运行效率。

下面对本发明实施例提供的OSDMap缓存容器的更新装置、终端及计算机可读存储介质进行介绍，下文描述的OSDMap缓存容器的更新装置、终端及计算机可读存储介质与上文描述的一种OSDMap缓存容器的更新方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的OSDMap缓存容器的更新装置的结构框图；该更新装置可以包括：

数据获取模块100，用于当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；

预判断模块200，用于利用机器学习算法对历史访问OSDMap的版本号进行分析，得到预判版本号；

查询模块300，用于查询OSDMap缓存容器中是否存在预判版本号；

更新模块400，用于若OSDMap缓存容器中不存在预判版本号，则生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中。

基于上述实施例，该更新装置还可以包括：

预设事件检测模块，用于通过确定启动定时器中的数值为预设值来检测预设事件。

基于上述任意实施例，预判断模块200具体为利用机器学习的线性回归算法对版本号进行分析，得到预判版本号的模块。

需要说明的是，基于上述任意实施例，所述装置可以是基于可编程逻辑器件实现的，可编程逻辑器件包括FPGA，CPLD，单片机等。

本发明实施例还提供一种终端，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任意实施例所述的OSDMap缓存容器的更新方法的步骤。如处理器用于执行计算机程序时实现当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；利用机器学习算法对历史访问OSDMap的版本号进行分析，得到预判版本号；查询OSDMap缓存容器中是否存在预判版本号；若否，则生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例所述的OSDMap缓存容器的更新方法的步骤。如计算机程序被处理器执行时实现当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；利用机器学习算法对历史访问OSDMap的版本号进行分析，得到预判版本号；查询OSDMap缓存容器中是否存在预判版本号；若否，则生成预判版本号对应的OSDMap并将OSDMap插入到OSDMap缓存容器中。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种OSDMap缓存容器的更新方法、装置、终端及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种OSDMap缓存容器的更新方法，其特征在于，包括：

当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；

利用机器学习算法对所述历史访问OSDMap的版本号进行分析，得到预判版本号；

查询所述OSDMap缓存容器中是否存在所述预判版本号；

若否，则生成所述预判版本号对应的OSDMap并将所述OSDMap插入到所述OSDMap缓存容器中。

2.根据权利要求1所述的OSDMap缓存容器的更新方法，其特征在于，还包括：

通过确定启动定时器中的数值为预设值来检测所述预设事件。

3.根据权利要求1所述的OSDMap缓存容器的更新方法，其特征在于，所述历史访问OSDMap的版本号的生成方式，包括：

对每次用户访问的OSDMap的版本号进行统计，形成所述历史访问OSDMap的版本号。

4.根据权利要求1至3任一项所述的OSDMap缓存容器的更新方法，其特征在于，所述利用机器学习算法对所述版本号进行分析，得到预判版本号，包括：

利用机器学习的线性回归算法对所述版本号进行分析，得到预判版本号。

5.根据权利要求4所述的OSDMap缓存容器的更新方法，其特征在于，生成所述预判版本号对应的OSDMap，包括：

利用本地数据库构造所述预判版本号对应的OSDMap结构；

对所述OSDMap结构进行反序列化生成OSDMap所述预判版本号对应的OSDMap。

6.一种OSDMap缓存容器的更新装置，其特征在于，包括：

数据获取模块，用于当检测到触发更新操作的预设事件时，获取历史访问OSDMap的版本号；

预判断模块，用于利用机器学习算法对所述历史访问OSDMap的版本号进行分析，得到预判版本号；

查询模块，用于查询所述OSDMap缓存容器中是否存在所述预判版本号；

更新模块，用于若所述OSDMap缓存容器中不存在所述预判版本号，则生成所述预判版本号对应的OSDMap并将所述OSDMap插入到所述OSDMap缓存容器中。

7.根据权利要求6所述的OSDMap缓存容器的更新装置，其特征在于，还包括：

预设事件检测模块，用于通过确定启动定时器中的数值为预设值来检测所述预设事件。

8.根据权利要求6或7所述的OSDMap缓存容器的更新装置，其特征在于，所述预判断模块具体为利用机器学习的线性回归算法对所述版本号进行分析，得到预判版本号的模块。

9.一种终端，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的OSDMap缓存容器的更新方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的OSDMap缓存容器的更新方法的步骤。

Images