CN108932158A - 一种元数据服务器事务处理的方法、装置及mds服务器 - Google Patents

Abstract

本发明涉及计算机技术领域，公开了一种元数据服务器事务处理的方法，包括：当元数据服务器接收到客户端发送的事务请求时，解析事务请求得到对目标元数据的事务处理信息；将事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使客户端在接收到第一响应消息后向元数据服务器发送下一个事务请求；按照预设时间间隔对指定位置对应的事务处理信息进行落盘操作；当事务请求执行完落盘操作后，向客户端返回第二响应消息；该方法在相同时间内可以比现有技术处理更多的事务请求，因此提高了元数据服务器事务处理能力。本发明还公开了一种元数据服务器事务处理的装置、MDS服务器及计算机可读存储介质，具有上述有益效果。

Description

一种元数据服务器事务处理的方法、装置及MDS服务器

技术领域

本发明涉及计算机技术领域，特别涉及一种元数据服务器事务处理的方法、装置、MDS服务器及计算机可读存储介质。

背景技术

目前元数据服务器(即MDS服务器，其中，MDS为元数据服务)在处理一件事务时，需要首先解析事务请求；然后按照该事务请求对应的操作步骤对目标元数据进行相应的操作；最后在操作完成后向客户端返回响应消息，以表明该事务处理完成。当客户端需要元数据服务器处理多个事务时，元数据服务器需要依次处理。即元数据服务器完成一个事务后客户端返回响应消息，客户端在接收到该响应消息后发送下一个事务，元数据服务器再处理该事务，依次循环直到全部事务处理完成。

可见，现有技术中客户端在接收到响应消息后才能够向元数据服务器发送下一个事务，对应的元数据服务器在同一时刻只能处理一个事务。因此造成元数据服务器事务处理能力低，耗时长的问题。

发明内容

本发明的目的是提供一种元数据服务器事务处理的方法、装置、MDS服务器及计算机可读存储介质，在相同时间内能够比现有技术处理更多的事务请求，因此提高了元数据服务器事务处理能力。

为解决上述技术问题，本发明提供一种元数据服务器事务处理的方法，所述方法包括：

当元数据服务器接收到客户端发送的事务请求时，解析所述事务请求得到对目标元数据的事务处理信息；

将所述事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使所述客户端在接收到所述第一响应消息后向所述元数据服务器发送下一个事务请求；

按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作；

当所述事务请求执行完落盘操作后，向所述客户端返回第二响应消息。

可选的，将所述事务处理信息写入指定位置，包括：

将所述事务处理信息写入日志。

可选的，按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作，包括：

按照预设时间间隔对所述指定位置记录的全部事务处理信息进行落盘操作，并在落盘操作完成后清空所述指定位置记录的事务处理信息。

可选的，解析所述事务请求得到对目标元数据的事务处理信息之后，还包括：

将所述事务处理信息写入缓存中。

可选的，当所述元数据服务器故障重启时，还包括：

加载所述指定位置对应的事务处理信息，并对加载得到的事务处理信息进行落盘操作。

本发明还提供一种元数据服务器事务处理的装置，包括：

解析模块，用于当元数据服务器接收到客户端发送的事务请求时，解析所述事务请求得到对目标元数据的事务处理信息；

第一响应模块，用于将所述事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使所述客户端在接收到所述第一响应消息后向所述元数据服务器发送下一个事务请求；

落盘模块，用于按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作；

第二响应模块，用于当所述事务请求执行完落盘操作后，向所述客户端返回第二响应消息。

可选的，所述落盘模块，包括：

落盘单元，用于按照预设时间间隔对所述指定位置记录的全部事务处理信息进行落盘操作；

清空单元，用于在落盘操作完成后清空所述指定位置记录的事务处理信息。

可选的，所述装置还包括：

加载模块，用于当所述元数据服务器故障重启时，加载所述指定位置对应的事务处理信息；相应的，

所述落盘模块，用于对加载得到的事务处理信息进行落盘操作。

本发明还提供一种MDS服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述所述元数据服务器事务处理的方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述元数据服务器事务处理的方法的步骤。

本发明所提供的元数据服务器事务处理的方法，包括：当元数据服务器接收到客户端发送的事务请求时，解析事务请求得到对目标元数据的事务处理信息；将事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使客户端在接收到第一响应消息后向元数据服务器发送下一个事务请求；按照预设时间间隔对指定位置对应的事务处理信息进行落盘操作；当事务请求执行完落盘操作后，向客户端返回第二响应消息。

可见，该方法在解析得到事务处理信息后并没有立刻对该事务处理信息进行实际处理，仅仅将该事务处理信息记录下来(这个过程耗时很短)，就向客户端返回第一响应信息，使得客户端可以在很短的时间内就向元数据服务器发送下一条事务请求；而元数据服务器集中处理该预设时间间隔内记录的事务处理信息，实现顺序批量落盘操作；因此，本发明在相同时间内可以比现有技术处理更多的事务请求，因此提高了元数据服务器事务处理能力。本发明还提供了一种元数据服务器事务处理的装置、MDS服务器及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的元数据服务器事务处理的方法的流程图；

图2为本发明实施例所提供的元数据服务器事务处理的装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中客户端在接收到响应消息后才能够向元数据服务器发送下一个事务，对应的元数据服务器在同一时刻只能处理一个事务。因此造成元数据服务器事务处理能力低，耗时长的问题。本实施例通过先快速获取依次获取事务请求，然后再统一进行落盘操作的方式，提高元数据服务器事务处理的效率，从而克服现有技术的缺点。具体请参考图1，图1为本发明实施例所提供的元数据服务器事务处理的方法的流程图；该方法可以包括：

S100、当元数据服务器接收到客户端发送的事务请求时，解析事务请求得到对目标元数据的事务处理信息。

具体的，本步骤的主要目的是元数据服务器解析当前接收到的客户端发送的事务请求得到对目标元数据的事务处理信息。本实施例并不对解析的具体过程进行限定，只要可以得到该事务请求对应的对目标元数据的事务处理信息即可。具体可以参考现有技术中元数据服务器对事务请求的解析过程。

本实施例并不对事务处理信息的具体内容进行限定，可以根据用户后续需要进行落盘操作确定执行该落盘操作需要的参数信息内容，进而确定所需要的事务处理信息。例如可以包含该事务请求对MDS元数据的处理，消息类型等信息。

进一步，解析事务请求得到对目标元数据的事务处理信息之后，还可以包括：将事务处理信息写入缓存中。以方便本地对后续对该事务请求对应的数据的使用。

S110、将事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使客户端在接收到第一响应消息后向元数据服务器发送下一个事务请求。

本实施例为了缩小事务请求对应的事务的处理时间，提高该事务的处理能力，具体通过缩短获取各事务请求的获取时间来实现，即向指定位置写入事务处理信息后立刻向客户端返回第一响应消息，以使客户端在接收到第一响应消息后向元数据服务器发送下一个事务请求。本实施例中在向客户端返回第一响应消息时，并未实际对目标元数据进行任何实际操作，仅仅记录了对目标元数据应该进行的操作即事务处理信息。因此耗费的时间非常短。若此时返回第一响应消息给客户端，可大大减小事务的处理时间，提高了元数据服务器事务的处理能力。

具体的，本实施例中在解析当前接收到的事务请求得到事务处理信息后并没有立刻对该事务处理信息进行实际处理，仅仅将该事务处理信息记录在指定位置(这个过程耗时很短)，在写入指定位置后就立刻向客户端返回第一响应信息，客户端在接收到第一响应消息后立刻向元数据服务器发送下一个事务请求；从而缩短了元数据服务器获取相邻的事务请求所需要的时间，即使得客户端可以在很短的时间内就向元数据服务器发送下一条事务请求，从而实现在很短时间内接收到客户端发送的下一个事务请求。即当元数据服务器接收到下一个事务请求时就进入到步骤S100中继续上述操作。因此本实施例中步骤S100和步骤S110循环执行。

简单来说，即现有技术中元数据服务器想要获取到相邻的两个事务请求所需要的时间为：前一个事务请求处理完成的时间(即包含对接收到的事务请求进行解析得到事务处理信息，执行解析获取的事务处理信息，当执行完事务处理信息后向客户端发送响应信息，客户端接收到响应信息后向元数据服务器发送下一个事务请求)，而本实施例中获取到相邻的两个事务请求所需要的时间为：解析并记录前一个事务请求的事务处理信息的时间(即包含对接收到的事务请求进行解析得到事务处理信息，记录事务处理信息，当记录完事务处理信息后向客户端发送第一响应信息，客户端接收到第一响应信息后向元数据服务器发送下一个事务请求)。其中记录事务处理信息所花费的时间要远远小于执行解析获取的事务处理信息所要花费的时间。因此，本实施例和现有技术相比同样的时间内，本申请可以接收到更多的事务请求，因此提高了元数据服务器事务处理能力。

本实施例并不对指定位置进行限定，只要其可以用来保存事务处理信息即可。例如可以是Journal(即日志)中，或者是记事本等指定的一个存储区域。优选的，为了提高事务处理信息记录的可靠性，本实施例中将事务处理信息写入日志。即采用Journal机制，先将事务处理信息(例如元数据操作)写入Journal中，立即就返回客户端响应消息(即本实施例中所说的第一响应信息)，后续再定时(即按照预设时间间隔)进行实际落盘处理，缩小了事务的处理时间，提高事务的处理能力并实现事务的原子性。其中，原子性是指事务的所有操纵在数据库中要么全部正确反映出来，要么全部不反映。

S120、按照预设时间间隔对指定位置对应的事务处理信息进行落盘操作。

具体的，本实施例中元数据服务器在不到一个预设时间间隔时一直按照上述步骤S100和步骤S110的过程，持续接收事务请求，并持续将每个事务请求对应的事务处理信息记录在指定位置(例如日志)中，当满足一个预设时间间隔，元数据服务器就会对指定位置该预设时间间隔内记录的全部事务处理信息按照顺序批量地执行落盘操作。以分布式文件系统为例说明该过程即：客户端将一个一个的事务请求发送到元数据服务器(即MDS服务器)，MDS服务器在将它们各自对应的事务处理信息写入指定位置(例如Journal)后，会定时(按照预设时间间隔)的对指定位置中记录的事务处理信息按照顺序批量的落盘操作，其中，分布式文件系统对Journal的处理效率比较高。

本实施例在每一个预设时间间隔都会对该预设时间间隔内记录的全部事务处理信息按照顺序批量地执行落盘操作。因此该步骤需要确定预设时间间隔对应的事务处理信息。即在该预设时间间隔需要对哪些事务处理信息进行处理。本实施例并不对这一过程进行限定，用户可以自行设定。例如可以将每一个预设时间间隔处理的事务处理信息从指定位置处删除，这样每个预设时间间隔指定位置所记录的全部事务处理信息都为需要处理的事务处理信息。当然也可以是在一个预设时间间隔开始时记录当前是哪个事务处理信息，在一个预设时间间隔结束时记录当前是哪个事务处理信息，将这两个事务处理信息以及他们之间的事务处理信息作为本次需要进行处理的事务处理信息。

进一步，为了提高事务处理信息的处理效率，以及减少已经处理过的事务处理信息对存储资源的占用，优选的，本实施例按照预设时间间隔对指定位置记录的全部事务处理信息进行落盘操作，并在落盘操作完成后清空指定位置记录的事务处理信息。

其中，步骤S120每隔预设时间间隔就会执行一次。

S130、当事务请求执行完落盘操作后，向客户端返回第二响应消息。

具体的，本实施例中只有当客户端接收到第二响应消息时，才说明该事务请求对应的操作为一个安全的完整的操作。即元数据服务器按照预设时间间隔对指定位置对应的事务处理信息进行落盘操作时，将内存中的元数据处理写入磁盘，最后再次返回给客户端响应消息即第二响应消息。每个事务请求当其对应的事务处理信息执行完落盘操作后才会向客户端返回第二响应消息，以告知客户端该事务请求已经安全、完整的操作完了。

本实施例并不限定向客户端返回第二响应消息的时机。例如可以是预设时间间隔内指定位置对应的事务处理信息全部进行落盘操作后，向客户端发送对应的事务请求处理完成的第二响应消息；也可以是一个事务处理信息执行完落盘操作后，就立即向客户端发送第二响应消息。

其可以应用在分布式文件系统中(如AS13000)，下面举例说明上述整个过程：

1、元数据服务器在接收到客户端的事务请求时，首先解析事务请求，并将其对目标元数据的处理写入缓存中。

2、元数据服务器将此次的事务即事务处理信息写入Journal中，返回给客户端第一响应消息。

3、元数据服务器会定时对Journal进行trim操作，即进行实际的落盘操作。

4、当一条Journal落盘操作完成后，响应客户端一次完整的操作完成即向客户端发送第二响应消息。

基于上述实施例，为了进一步保证事务的原子性，本实施例中当元数据服务器故障重启时，还可以包括：

加载指定位置对应的事务处理信息，并对加载得到的事务处理信息进行落盘操作。

具体的，当元数据服务器在进行落盘操作前，若发生故障导致元数据服务器重启，导致事务请求未处理完成。因此本实施例在元数据服务器重启过程中，会将这些未处理完成的操作从指定位置(例如Journal)中加载出来，重新处理，以此保证了请求事务的原子性。本实施例在执行完落盘操作，继续执行上述实施例中的步骤S130。

基于上述技术方案，本发明实施例提供的元数据服务器事务处理的方法，在解析得到事务处理信息后并没有立刻对该事务处理信息进行实际处理，仅仅将该事务处理信息记录下来(这个过程耗时很短)，就向客户端返回第一响应信息，使得客户端可以在很短的时间内就向元数据服务器发送下一条事务请求；而元数据服务器集中处理该预设时间间隔内记录的事务处理信息，实现顺序批量落盘操作；因此，本发明在相同时间内可以比现有技术处理更多的事务请求，因此提高了元数据服务器事务处理能力并实现事务的原子性。

下面对本发明实施例提供的元数据服务器事务处理的装置、MDS服务器及计算机可读存储介质进行介绍，下文描述的元数据服务器事务处理的装置、MDS服务器及计算机可读存储介质与上文描述的元数据服务器事务处理的方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的元数据服务器事务处理的装置的结构框图；该装置可以包括：

解析模块100，用于当元数据服务器接收到客户端发送的事务请求时，解析事务请求得到对目标元数据的事务处理信息；

第一响应模块200，用于将事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使客户端在接收到第一响应消息后向元数据服务器发送下一个事务请求；

落盘模块300，用于按照预设时间间隔对指定位置对应的事务处理信息进行落盘操作；

第二响应模块400，用于当事务请求执行完落盘操作后，向客户端返回第二响应消息。

基于上述实施例，落盘模块300可以包括：

落盘单元，用于按照预设时间间隔对指定位置记录的全部事务处理信息进行落盘操作；

清空单元，用于在落盘操作完成后清空指定位置记录的事务处理信息。

基于上述任意实施例，该装置还可以包括：

加载模块，用于当元数据服务器故障重启时，加载指定位置对应的事务处理信息；相应的，

落盘模块，用于对加载得到的事务处理信息进行落盘操作。

需要说明的是，基于上述任意实施例，所述处理装置可以是基于可编程逻辑器件实现的，可编程逻辑器件包括FPGA，CPLD，单片机等。该处理装置可以设置于元数据服务器中。

本发明实施例还提供一种MDS服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述任意实施例所述的元数据服务器事务处理的方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任意实施例所述的元数据服务器事务处理的方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种元数据服务器事务处理的方法、装置、MDS服务器及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种元数据服务器事务处理的方法，其特征在于，所述方法包括：

当元数据服务器接收到客户端发送的事务请求时，解析所述事务请求得到对目标元数据的事务处理信息；

将所述事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使所述客户端在接收到所述第一响应消息后向所述元数据服务器发送下一个事务请求；

按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作；

当所述事务请求执行完落盘操作后，向所述客户端返回第二响应消息。

2.根据权利要求1所述的方法，其特征在于，将所述事务处理信息写入指定位置，包括：

将所述事务处理信息写入日志。

3.根据权利要求1所述的方法，其特征在于，按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作，包括：

按照预设时间间隔对所述指定位置记录的全部事务处理信息进行落盘操作，并在落盘操作完成后清空所述指定位置记录的事务处理信息。

4.根据权利要求1所述的方法，其特征在于，解析所述事务请求得到对目标元数据的事务处理信息之后，还包括：

将所述事务处理信息写入缓存中。

5.根据权利要求1-4任一项所述的方法，其特征在于，当所述元数据服务器故障重启时，还包括：

加载所述指定位置对应的事务处理信息，并对加载得到的事务处理信息进行落盘操作。

6.一种元数据服务器事务处理的装置，其特征在于，包括：

解析模块，用于当元数据服务器接收到客户端发送的事务请求时，解析所述事务请求得到对目标元数据的事务处理信息；

第一响应模块，用于将所述事务处理信息写入指定位置，并在写入后向客户端返回第一响应消息，以使所述客户端在接收到所述第一响应消息后向所述元数据服务器发送下一个事务请求；

落盘模块，用于按照预设时间间隔对所述指定位置对应的事务处理信息进行落盘操作；

第二响应模块，用于当所述事务请求执行完落盘操作后，向所述客户端返回第二响应消息。

7.根据权利要求6所述的装置，其特征在于，所述落盘模块，包括：

落盘单元，用于按照预设时间间隔对所述指定位置记录的全部事务处理信息进行落盘操作；

清空单元，用于在落盘操作完成后清空所述指定位置记录的事务处理信息。

8.根据权利要求6或7所述的装置，其特征在于，还包括：

加载模块，用于当所述元数据服务器故障重启时，加载所述指定位置对应的事务处理信息；相应的，

所述落盘模块，用于对加载得到的事务处理信息进行落盘操作。

9.一种MDS服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述元数据服务器事务处理的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述元数据服务器事务处理的方法的步骤。