CN103399823A - 业务数据的存储方法、设备和系统 - Google Patents

Abstract

本发明提供一种数据的存储方法、设备和系统，该方法包括：接收用于向存储系统中写入业务数据的写请求；从该写请求携带的业务数据中获取元数据和文件数据；以冗余存储方式，将该元数据存储在所述存储系统中的元数据存储区中；将该文件数据存储在该存储系统中的文件数据存储区中，该元数据存储区和文件数据存储区地址范围不重合。

Description

业务数据的存储方法、设备和系统

技术领域

本发明涉及数据存储技术，尤其涉及一种业务数据的存储方法、设备和系统。

背景技术

目前，应用系统采用统一的缓存(cache)和独立冗余磁盘阵列(RedundantArray of Independent Disk；简称：RAID)，将各种类型文件存储在存储系统中，但是，由于文件系统支持的文件数据的类型多种多样，且存储系统只能提供单一的数据存储和读写访问方式，因此，造成了存储系统的读/写(Input/Output；简称：I/O)性能和可靠性较差。

发明内容

本发明提供一种业务数据的处理方法、设备和系统，用于提高存储系统的I/O性能和可靠性。

一种业务数据的存储方法，包括：

接收用于向存储系统中写入业务数据的写请求；

从所述写请求携带的业务数据中获取元数据和文件数据；

以冗余存储方式，将所述元数据存储在所述存储系统中的元数据存储区中；

将所述文件数据存储在所述存储系统中的文件数据存储区中，所述元数据存储区和文件数据存储区地址范围不重合。

本发明的另一个方面是提供一种业务数据的存储设备，包括：

接收模块，用于接收用以向存储系统中写入业务数据的写请求；

获取模块，用于从所述写请求携带的业务数据中获取元数据和文件数据；

元数据存储模块，用于以冗余存储方式，将所述元数据存储在所述存储系统的元数据存储区中；

文件数据存储模块，用于将所述文件数据存储在所述存储系统的文件数据存储区中，所述元数据存储区和文件数据存储区地址范围不重合。

本发明的又一个方面是提供一种业务数据的存储系统，包括：存储系统和上述所述的业务数据的存储设备。

本发明的技术效果是：从接收到的业务数据的写请求中获取业务数据中的元数据和文件数据，并以冗余存储方式，将该元数据存储在存储系统的元数据存储区中；另外，将文件数据存储在存储系统的文件数据存储区中，由于将该元数据和该元数据对应的文件数据进行分离，并分别存储在存储系统的不同存储区上，因此有效地提高了存储系统的I/O性能和可靠性。

附图说明

图1为本发明业务数据的存储方法的第一个实施例的流程图；

图2为本发明业务数据的存储方法的第二个实施例的流程图；

图3为本发明业务数据的存储方法的第三个实施例的流程图；

图4为本发明业务数据的存储设备的第一个实施例的结构示意图；

图5为本发明业务数据的存储设备的第二个实施例的结构示意图；

图6为本发明业务数据的存储设备的第三个实施例的结构示意图。

具体实施方式

图1为本发明业务数据的存储方法的第一个实施例的流程图，如图1所示，本实施例的方法包括：

步骤101、接收用于向存储系统中写入业务数据的写请求。

步骤102、从该写请求携带的业务数据中，获取元数据和文件数据。

在本实施例中，业务数据包括元数据和文件数据，其中，该元数据和文件数据为一一对应的关系。具体的，该元数据用于描述其对应的文件数据的相关信息。举例来说，当文件数据是视频内容时，则该元数据可以包括该视频内容的创建时间、该视频内容的路径信息和/或该视频内容的名字等。

步骤103、以冗余存储方式，将该元数据存储在存储系统的元数据存储区中。

步骤104、将该文件数据存储在该存储系统的文件数据存储区中，该元数据存储区和文件数据存储区地址范围不重合。

可选地，获取该文件数据的类型对应的缓存cache参数和RAID参数，并根据该cache参数和RAID参数，对该文件数据进行空间分配处理。其中，缓存参数包括：缓存大小和缓存算法；其中该缓存算法与所述文件数据的类型具有对应关系；该RAID参数包括：RAID级别、条带大小、硬盘类型和空间分配策略，所述空间分配策略包括逻辑地址范围等。

在本实施例中，存储系统可以包括两个存储区，一个存储区为元数据存储区，用于存储元数据；另一个存储区为文件数据存储区，用于存储文件数据。其中，元数据存储在元数据存储区中，并采用冗余存储方式，对该元数据进行冗余保护处理。可选地，可以采用RAID 1冗余方式至RAID6、或者RAID10、RAID50等冗余方式中的任一种对该元数据进行冗余保护处理。

在本实施例中，通过接收业务数据的写请求，获取该写请求所携带的业务数据中的元数据和文件数据，并以冗余存储方式，将该元数据存储在存储系统的元数据存储区中；另外，将文件数据存储在存储系统的文件数据存储区中，由于将该元数据和该元数据对应的文件数据进行分离，并分别存储在存储系统的不同存储区上，因此有效地提高了存储系统的I/O性能和可靠性。

图2为本发明业务数据的存储方法的第二个实施例的流程图，如图2所示，本实施例的执行主体可以为业务数据的存储设备，该业务数据的存储设备可以设置在文件系统、磁盘阵列的存储控制器等设备中，则本实施例的方法包括：

步骤201、接收用于向存储系统中写入业务数据的写请求。

步骤202、从该写请求携带的业务数据中获取元数据和文件数据。

可选地，可以根据元数据的标识、存储位置、或者预定的数据结构，从该写请求中获取元数据。例如，对于有的总线传输协议，可以在写请求的消息头中携带元数据，在载荷部分携带文件数据；对于另外一些元数据和文件数据均携带在载荷部分中的总线传输协议，可以根据消息头中所携带的元数据和文件数据分别对应的地址偏移量，从载荷部分的不同位置中分别提取元数据和业务数据。在这里不再一一列举。

步骤203、以冗余存储方式，将该元数据存储在存储系统的元数据存储区中。

在本实施例中，可选地，可以具体采用RAID1镜像的方式对该元数据进行冗余保护处理。

步骤204、识别该文件数据的类型，进入步骤205。

可选地，可以从所述写请求的消息头中获取该文件数据的类型标识符，或者从该元数据中获取该文件数据的类型标识符，以此来确定文件数据的类型。

步骤205、从预先存储的各种文件数据的类型与缓存参数的映射关系、以及各种文件数据的类型与RAID参数的映射关系中，查找获取该文件数据的类型对应的缓存参数和RAID参数；

在本实施中，该文件类型可以包括：文本文件类型、计费文件类型、流媒体文件类型和备份类型等。该cache参数可以包括：cache大小和cache算法等。

在本实施例中，该RAID参数包括：RAID级别、条带大小、硬盘类型和空间分配策略等。

步骤206、根据查找到的该缓存参数和RAID参数，为该文件数据分配存储空间并存储。

可选地，首先根据该缓存参数，对该文件数据进行缓存处理；然后，根据该RAID参数，在该存储系统的文件数据存储区中，为缓存处理后的文件数据分配存储空间，并根据该RAID参数将缓存处理后的文件数据存储在分配的存储空间中。

通过上述存储过程，能够将不同类型的业务数据存储到不同范围的逻辑地址中，便于管理和维护。也可以采用不同类型的RAID算法，存储不同类型的业务数据，对于安全性要求较高的数据，例如金融数据、计费数据等可以采用RAID50等冗余性较高的方式来存储，对于安全性要求较低的数据，如流媒体数据、文本数据等可以采用RAID0等存储设备利用率较高的方式来存储。在保证数据安全性的同时，有效提高存储空间利用率。

在此，给出了两个具体实例，但本领域技术人员可以采用类似原理，应用于其他类型文件数据的存储场景中：

实例一：

当该文件数据的类型是流媒体类型，且应用系统下发的携带有流媒体业务数据的写请求给文件系统时，文件系统中的业务数据的存储设备接收到该流媒体业务数据的写请求，并获取该流媒体业务数据中的元数据和文件数据，对于流媒体业务数据中的元数据，将该流媒体业务数据中的元数据存储在存储系统的元数据存储区中，并采用RAID1镜像的方式，对该流媒体元数据进行冗余保护处理。对于流媒体业务数据中的文件数据，查询文件数据的类型和cache参数的映射关系，获取该流媒体类型对应的cache参数，其中，该cache参数包括：cache大小和cache算法，具体的，流媒体数据类型对应的cache大小可以与流媒体播放速度匹配，流媒体的播放速度越快，则应设置越大的缓存空间，流媒体数据类型对应的cache算法包括顺序写cache和顺序预读cache，将从cache预读的数据写入流媒体文件存储区，从而确保对流媒体文件数据访问的画面和声音流畅，避免丢帧。

另外，查询文件数据的类型和RAID参数的映射关系，获取该流媒体类型对应的RAID参数，并根据该RAID参数中的逻辑地址范围为该数据文件单独定制一个RAID空间，即流媒体空间。从而使每种类型的文件数据都存储在相对集中的存储位置中，便于管理和维护。

实例二：

当该文件数据的类型是备份类型，且应用系统下发的携带有备份业务数据的写请求给文件系统时，文件系统中的业务数据的存储设备接收到该备份业务数据的写请求，并获取该备份业务数据中的元数据和文件数据，对于备份业务数据中的元数据，将该备份业务数据中的元数据存储在存储系统的元数据存储区中，并采用RAID5的方式，对该备份元数据进行冗余保护处理。对于备份业务数据中的文件数据，查询文件数据的类型和cache参数的映射关系，获取该备份类型对应的cache参数，其中，该cache参数包括：cache大小和cache算法，具体的，流媒体数据类型对应的cache算法包括对多个条带的数据进行并行缓存，并且采用异步、多条带并发的方式将缓存中的数据写入备份文件存储区。

在本实施例中，通过将业务数据中的元数据和文件数据进行分离，并将该元数据存储在存储系统的元数据存储区中，再采用RAID1镜像的方式，对该元数据进行冗余保护处理；另外，获取该文件数据的类型对应的cache参数和RAID参数，并根据该cache参数和RAID参数，在该存储系统的文件数据存储区中，对该文件数据进行空间分配处理，从而有效地提高了存储系统的I/O性能和可靠性。

进一步，图3为本发明业务数据的存储方法的第三个实施例的流程图，在上述图1或者图2所示实施例的基础上，为了减少读/写的次数，并提高存储系统的I/O性能，如图3所示，步骤103或步骤203还可以包括：

步骤301、从该接收到得写请求中，获取该写请求携带的业务数据中元数据对应的存储位置，即元数据的待写入的逻辑地址；

步骤302、判断该元数据对应的存储位置与已缓存的此前接收到的其他写请求携带的业务数据中的元数据对应的存储位置是否存在重合部分；若是进入步骤303，否则进入步骤304。

步骤303、若该存储位置与接收到的其他写请求中的元数据对应的存储位置存在重合部分，则对元数据进行聚合处理，该聚合处理是指按照存储位置对各个写请求携带的业务数据中的元数据进行拼接，对于至少两个写请求中存储位置重合的元数据，用后接收到的写请求中的元数据更新先接收到的写请求中的元数据，作为该存储位置上的元数据，进入步骤305。

步骤304、对该元数据进行缓存。

步骤305、将聚合处理后的元数据以冗余存储方式，存储在该存储系统中的元数据存储区中，删除缓存中已写入元数据存储区中的元数据。

进一步，在实际应用中考虑到缓存空间是有限的，当缓存中的空闲空间大于预定阈值时，执行上述步骤301～步骤305，当小于或等于预定阈值时，将已缓存的数据直接写入元数据存储区中。

在本实施例中，当连续接收到多个写请求时，可以分别提取出其中的元数据，获取元数据，若其中存在存储位置重合的元数据，则对这些元数据进行聚合，并通过一次I/O操作将聚合后的元数据发送给存储系统，以冗余存储的方式存储在元数据存储区中，从而有效地提高了存储系统的I/O性能。

图4为本发明业务数据的存储设备的第一个实施例的结构示意图，如图4所示，本实施例的数据的处理设备包括：接收模块11、获取模块12、元数据存储模块13和文件数据存储模块14，其中，接收模块11用于接收用以向存储系统中写入业务数据的写请求；获取模块12用于从该写请求携带的业务数据中获取元数据和文件数据；元数据存储模块13用于以冗余存储方式，将该元数据存储在该存储系统的元数据存储区中；文件数据存储模块14用于将该文件数据存储在该存储系统的文件数据存储区中，该元数据存储区和文件数据存储区地址范围不重合。

本实施例的数据的存储设备可以执行图1所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。

在本实施例中，业务数据的存储设备从接收到的写请求中获取其携带的业务数据中的元数据和文件数据，并将该元数据以冗余存储的方式存储在存储系统的元数据存储区中；另外，将文件数据存储在存储系统的文件数据存储区中，从而实现将该元数据和该元数据对应的文件数据进行分离，并分别存储在存储系统的不同存储区上，因此有效地提高了存储系统的I/O性能和可靠性。

可选地，图5为本发明业务数据的存储设备的第二个实施例的结构示意图，如图5所示，在上述图4所示实施例的基础上，该文件数据存储模块14包括：

识别单元141，用于识别该文件数据的类型；

查找单元142，用于从预先存储的各种文件数据的类型与缓存参数的映射关系、以及各种文件数据的类型与RAID参数的映射关系中，查找获取该文件数据的类型对应的缓存参数和RAID参数；

存储单元143，用于根据查找单元142查找到的该cache参数和RAID参数，为该文件数据分配存储空间并存储。

可选地，图5中的存储单元143进一步包括：

缓存子单元1431，用于根据查找单元142查找到的该缓存参数，对该文件数据进行缓存处理；

存储子单元1432，用于根据该RAID参数，在该存储系统的文件数据存储区中，为缓存处理后的文件数据分配存储空间，并根据该RAID参数将缓存子单元1431缓存处理后的文件数据存储在分配的存储空间中。

本实施例的业务数据的存储设备可以执行图2所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。

在本实施例中，通过将业务数据中的元数据和文件数据进行分离，并将该元数据存储在存储系统的元数据存储区中，再采用冗余存储方式，对元数据进行冗余保护处理；另外，获取该文件数据的类型对应的cache参数和RAID参数，并根据该cache参数和RAID参数，在该存储系统的文件数据存储区中，对该文件数据进行空间分配处理，从而有效地提高了存储系统的I/O性能和可靠性。

进一步的，图6为本发明业务数据的存储系统的第三个实施例的结构示意图，如图6所示，为了减少读/写的次数，并提高存储系统的I/O性能，该业务数据的存储设备的元数据存储模块13进一步包括：

存储位置获取单元131，用于获取该元数据对应的存储位置；

判断单元132，用于判断存储位置获取单元131获取的该元数据对应的存储位置与缓存单元135中此前接收到的其他写请求携带的业务数据中的元数据对应的存储位置是否存在重合部分；

聚合单元133，用于若该判断单元的判断结果为是，则对元数据进行聚合处理，该聚合处理是指按照存储位置对各个写请求携带的业务数据中的元数据进行拼接，对于至少两个写请求中存储位置重合的元数据，用后接收到的写请求中的元数据更新先接收到的写请求中的元数据，作为该存储位置上的元数据；

存储单元134，用于将聚合单元133聚合后的元数据以冗余存储方式，存储在该存储系统中的元数据存储区中，删除缓存单元135中已写入元数据存储区中的元数据；

缓存单元135，用于若该判断单元132的判断结果为否，则对该元数据进行缓存。

本发明还提供了一种业务数据的存储系统，包括：存储系统和业务数据的存储设备，其中，该业务数据的存储设备可以为图4至图6任一实施例所示的业务数据的存储设备，并可以执行图1至图3任一方法实施例所示的技术方案，其实现原理相类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种业务数据的存储方法，其特征在于，包括：

接收用于向存储系统中写入业务数据的写请求；

从所述写请求携带的业务数据中获取元数据和文件数据；

以冗余存储方式，将所述元数据存储在所述存储系统中的元数据存储区中；

将所述文件数据存储在所述存储系统中的文件数据存储区中，所述元数据存储区和文件数据存储区地址范围不重合。

2.根据权利要求1所述的业务数据的存储方法，其特征在于，以冗余存储方式，将所述元数据存储在所述存储系统中的元数据存储区中，包括：

获取所述元数据对应的存储位置；

判断所述元数据对应的存储位置与已缓存的此前接收到的其他写请求携带的业务数据中的元数据对应的存储位置是否存在重合部分；

若是，则对元数据进行聚合处理，并将聚合处理后的元数据以冗余存储方式，存储在所述存储系统中的元数据存储区中，并删除缓存中已写入元数据存储区中的元数据，所述聚合处理是指按照存储位置对各个写请求携带的业务数据中的元数据进行拼接，对于至少两个写请求中存储位置重合的元数据，用后接收到的写请求中的元数据更新先接收到的写请求中的元数据，作为该存储位置上的元数据；

否则，对所述元数据进行缓存。

3.根据权利要求1或2所述的业务数据的存储方法，其特征在于，所述将所述文件数据存储在所述存储系统的文件数据存储区中，包括：

识别所述文件数据的类型；

从预先存储的各种文件数据的类型与缓存参数的映射关系、以及各种文件数据的类型与RAID参数的映射关系中，查找获取所述文件数据的类型对应的缓存参数和RAID参数；

根据查找到的所述缓存参数和RAID参数，为所述文件数据分配存储空间并存储。

4.根据权利要求3所述的业务数据的存储方法，其特征在于，所述根据查找到的所述缓存参数和RAID参数，为所述文件数据分配存储空间并存储，包括：

根据所述缓存参数，对所述文件数据进行缓存处理；

根据所述RAID参数，在所述存储系统的文件数据存储区中，为缓存处理后的文件数据分配存储空间，并根据所述RAID参数将缓存处理后的文件数据存储在分配的存储空间中。

5.根据权利要求3所述的业务数据的存储方法，其特征在于，所述缓存参数包括：缓存大小和缓存算法，其中所述缓存算法与所述文件数据的类型具有对应关系；

所述RAID参数包括：RAID级别、条带大小、硬盘类型和逻辑地址范围。

6.一种业务数据的存储设备，其特征在于，包括：

接收模块，用于接收用以向存储系统中写入业务数据的写请求；

获取模块，用于从所述写请求携带的业务数据中获取元数据和文件数据；

元数据存储模块，用于以冗余存储方式，将所述元数据存储在所述存储系统的元数据存储区中；

文件数据存储模块，用于将所述文件数据存储在所述存储系统的文件数据存储区中，所述元数据存储区和文件数据存储区地址范围不重合。

7.根据权利要求6所述的业务数据的存储设备，其特征在于，所述元数据存储模块包括：

存储位置获取单元，用于获取所述元数据对应的存储位置；

判断单元，用于判断所述元数据对应的存储位置与缓存单元中此前接收到的其他写请求携带的业务数据中的元数据对应的存储位置是否存在重合部分；

聚合单元，用于若所述判断单元的判断结果为是，则对元数据进行聚合处理，所述聚合处理是指按照存储位置对各个写请求携带的业务数据中的元数据进行拼接，对于至少两个写请求中存储位置重合的元数据，用后接收到的写请求中的元数据更新先接收到的写请求中的元数据，作为该存储位置上的元数据；

存储单元，用于将聚合单元聚合后的元数据以冗余存储方式，存储在所述存储系统中的元数据存储区中，删除所述缓存单元中已写入元数据存储区中的元数据；

缓存单元，用于若所述判断单元的判断结果为否，则对所述元数据进行缓存。

8.根据权利要求7所述的业务数据的存储设备，其特征在于，所述文件数据处理模块包括：

识别单元，用于识别所述文件数据的类型；

查找单元，用于从预先存储的各种文件数据的类型与缓存参数的映射关系、以及各种文件数据的类型与RAID参数的映射关系中，查找获取所述文件数据的类型对应的缓存参数和RAID参数；

存储单元，用于根据查找单元查找到的所述cache参数和RAID参数，为所述文件数据分配存储空间并存储。

9.根据权利要求8所述的业务数据的存储设备，其特征在于，所述存储单元包括：

缓存子单元，用于根据查找单元查找到的所述缓存参数，对所述文件数据进行缓存处理；

存储子单元，用于根据所述RAID参数，在所述存储系统的文件数据存储区中，为缓存处理后的文件数据分配存储空间，并根据所述RAID参数将缓存子单元缓存处理后的文件数据存储在分配的存储空间中。

10.一种业务数据的存储系统，其特征在于，包括如权利要求6至9任一项所述的数据的存储设备。

Images