CN104991747A - 数据管理方法及系统 - Google Patents
数据管理方法及系统 Download PDFInfo
- Publication number
- CN104991747A CN104991747A CN201510459365.5A CN201510459365A CN104991747A CN 104991747 A CN104991747 A CN 104991747A CN 201510459365 A CN201510459365 A CN 201510459365A CN 104991747 A CN104991747 A CN 104991747A
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- data file
- disk array
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据管理方法及系统，将待存储数据分离为元数据与数据文件，将元数据存储于单独存储分区，将数据文件存储于与单独存储分区相对独立的磁盘阵列，元数据和数据文件的分开存储。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列是独立分开的，不但降低了磁盘阵列对元数据的存储压力，而且对元数据读写时，无需对存储数据文件的磁盘阵列进行访问，直接访问存储元数据的系统磁盘即可，没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读写效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。
Description
技术领域
本发明涉及数据存储领域，特别涉及一种数据管理方法及系统。
背景技术
现有的元数据主要通过光盘和磁盘方式存储，其中，光盘主要用于移动存储，由于光盘相对磁介质具有更长的使用寿命，可以用来更长时间的保存归档数据，但光盘容量有限，访问速度较慢，不适合用作在线存储设备。磁盘是主要的在线存储设备，用来存储活跃的生产数据。
目前，对元数据的读写过程如图1所示，首先，文件系统向RAID(RedundantArray of Independent Disks，磁盘阵列)卡发起元数据读取请求，RAID卡计算定位元数据在磁盘阵列中所在位置，并向磁盘发起读取请求，磁盘读取元数据返回给RAID卡，RAID卡将元数据返回给文件系统。文件系统也可在现有元数据基础上发起写元数据请求，通过RAID卡将元数据写入磁盘。但是，由于元数据琐碎且写入频繁，易产生大量的磁盘碎片，对数据文件读写效率和磁盘使用寿命易产生影响，导致数据文件读写性能逐渐下降，当数据量比较大的时候，磁盘碎片的问题更加难以解决。
发明内容
基于此，有必要针对磁盘碎片量较大、数据文件读写性能低的问题，提供一种减小磁盘碎片且能提高数据文件读写性能的数据管理方法及系统。
一种数据管理方法，包括如下步骤：
对系统磁盘进行分区，划分单独存储分区；
设置与所述单独存储分区相对独立的磁盘阵列；
将待存储数据分离为元数据与数据文件；
将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列。
本发明还提供一种数据管理系统，包括：
分区模块，用于对系统磁盘进行分区，划分单独存储分区；
设置模块，用于设置与所述单独存储分区相对独立的磁盘阵列；
分离模块，用于将待存储数据分离为元数据与数据文件；
存储模块，用于将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列。
上述数据管理方法及系统，将待存储数据分离为元数据与数据文件，将元数据存储于单独存储分区，将数据文件存储于与单独存储分区相对独立的磁盘阵列，元数据和数据文件的分开存储。从而对元数据进行读取时，无需通过RAID卡向磁盘阵列发送读写请求，而是通过直接向系统磁盘发送元数据读写请求，减少写惩罚，根据元数据读写请求，进行元数据的读写。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列是独立分开的，不但降低了磁盘阵列对元数据的存储压力，而且对元数据读写时，无需对存储数据文件的磁盘阵列进行访问，直接访问存储元数据的系统磁盘即可，没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读写效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。
附图说明
图1为现有的元数据读写原理图；
图2为一实施方式的数据管理方法的流程图；
图3为另一实施方式的数据管理方法的子流程图；
图4为另一实施方式的数据管理方法的子流程图；
图5为另一实施方式的数据管理方法的子流程图；
图6为另一实施方式的数据管理方法的子流程图；
图7为另一实施方式的数据管理方法的子流程图；
图8为另一实施方式的数据管理方法的子流程图；
图9为一实施方式的数据管理方法的元数据读写原理图；
图10为一实施方式的数据管理系统的模块图；
图11为另一实施方式的数据管理系统的子模块图；
图12为另一实施方式的数据管理系统的子模块图；
图13为另一实施方式的数据管理系统的子模块图；
图14为另一实施方式的数据管理系统的子模块图。
具体实施方式
请参阅图2，提供一种实施方式的数据管理方法，包括以下步骤：
S100：对系统磁盘进行分区，划分单独存储分区。
系统磁盘是指操作系统运行盘，元数据为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在实际操作过程中，提供服务器，首先对服务器的系统磁盘进行分区，为存储元数据提供单独存储分区，将元数据存储在服务器的系统磁盘的单独存储分区。例如，在系统磁盘中划出200G的存储空间作为索引文件分区，即为元数据在系统磁盘中划分出了单独存储分区。
S200：设置与单独存储分区相对独立的磁盘阵列。
为存储数据文件，设置磁盘阵列，服务器由主机和磁盘阵列两部分构成，主机与磁盘阵列连接，磁盘阵列与系统磁盘是相对独立的，从而磁盘阵列与存储元数据的单独存储分区是独立分开的。
S300：将待存储数据分离为元数据与数据文件。
待存储数据是包括元数据和数据文件的，数据在实际传送过程中，包括元数据和数据文件的传送，由于为元数据和数据文件提供的存储空间是分开独立的，从而需要对待存储数据进行分离得到元数据和数据文件。
S400：将元数据存储于单独存储分区，将数据文件存储于磁盘阵列。
对元数据和数据文件进行分离后，将元数据和数据文件分别存储到系统磁盘和磁盘阵列中，实现元数据和数据文件的分开存储。在实际应用中，系统磁盘采用高转速的SAS盘，磁盘阵列采用低转速的SATA盘。
上述数据管理方法，将待存储数据分离为元数据与数据文件，将元数据存储于单独存储分区，将数据文件存储于与单独存储分区相对独立的磁盘阵列，元数据和数据文件的分开存储。从而对元数据进行读取时，无需通过RAID卡向磁盘阵列发送读写请求，而是通过直接向系统磁盘发送元数据读写请求，减少写惩罚，根据元数据读写请求，进行元数据的读写。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列是独立分开的，不但降低了磁盘阵列对元数据的存储压力，而且对元数据读写时，无需对存储数据文件的磁盘阵列进行访问，直接访问存储元数据的系统磁盘即可，没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读写效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。
请参阅图3，在其中一个实施例中，将待存储数据分离为元数据与数据文件的步骤S300具体包括步骤：
S310：提取待存储数据的前16个字节，获得元数据；
S320：提取待存储数据的除前16个字节的剩余字节，获取数据文件。
待存储数据的前16个字节为元数据描述信息，在存入数据时，会将待存储数据前16个字节读出后以索引文件的形式写入系统磁盘中存储元数据的单独存储分区。待存储数据的其余字节为数据文件描述信息，将待存储数据的其余字节文件写入存储数据文件的磁盘阵列中。
请参阅图4，在其中一个实施例中个，将元数据存储于单独存储分区，将数据文件存储于磁盘阵列的步骤S400之后还包括步骤：
S510：向系统磁盘发送元数据读取请求。
数据管理系统直接维护系统磁盘中的元数据，元数据存储在系统磁盘上，从而在需要读取元数据时，可直接向系统磁盘发起元数据读取请求。
S610：根据元数据读取请求，读取元数据。
元数据保存在服务器的系统磁盘上，并单独分区，而数据文件存放在磁盘阵列上。在进行元数据的读取时，无需对存放数据文件的磁盘阵列进行访问，只需对存储元数据的系统磁盘进行访问。没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读取效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。系统磁盘读取元数据后，将元数据发送，当接收到系统磁盘发送的元数据时，表示读取元数据成功。
请参阅图5，在其中一个实施例中，将元数据存储于单独存储分区，将数据文件存储于磁盘阵列的步骤S400之后还包括步骤：
S520：向系统磁盘发送元数据写请求。
当有元数据需要写入系统磁盘时，向系统磁盘发送元数据写请求。
S620：根据响应所述元数据写请求生成的写入执行指令，写入元数据。
当需要写入元数据时，文件系统向系统磁盘发送元数据写请求，元数据写请求包括写入地址和待写入元数据，存储设备中存储单元对应实际地址称为物理地址，即单独存储分区对应的实际地址，是与写入地址对应的。根据元数据写请求携带的写入地址，寻找单独存储分区中与写入地址对应的物理地址，生成写入执行指令，根据写入执行指令，将元数据请求中携带的待写入元数据写入到该物理地址中，完成待写入元数据的写入。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列分开，在进行元数据写入时，无需对存放数据文件的磁盘阵列进行访问，从而对磁盘阵列无写惩罚，没有小I/O写到磁盘阵列中，都是整块的数据文件写入到磁盘阵列中，大数据文件读写I/O性能提高50％以上。且通过上述数据管理方法对元数据写入时，没有索引文件等元数据的干扰，可减少对数据文件写操作的干预，提高数据文件的写入速率，整块数据文件的写入相比小文件写入，可以大幅降低磁盘碎片，有利于磁盘保护。
请参阅图6，在其中一个实施例中，所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列S400之后还包括步骤：
S530：向RAID卡发送数据文件写请求；
S630：根据所述数据文件写请求，向所述磁盘阵列发送写请求；
S730：根据响应所述写请求生成的写执行指令，写入数据文件。
在需要进行数据文件写入时，通过RAID卡将数据文件写入磁盘阵列。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列分开，在进行元数据写入时，无需对存放数据文件的磁盘阵列进行访问，没有索引文件等元数据的干扰，可减少对数据文件写操作的干预，从而通过上述数据文件写入过程对数据文件进行写入，可提高数据文件的写入速率。
请参阅图7，在其中一个实施例中，所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列S400之后还包括步骤：
S540：向RAID卡发送数据文件读取请求；
S640：根据数据文件读取请求，计算数据文件在磁盘阵列中的位置；
S740：根据数据文件在磁盘阵列中的位置，向磁盘阵列发送读取请求；
S840：根据读取请求，读取数据文件。
数据文件存储在磁盘阵列上，从而在需要读取数据文件时，首先向RAID卡发起数据文件读取请求，RAID卡计算定位数据文件在磁盘阵列中所在位置，并向磁盘阵列发起读取请求，根据读取请求，读取数据文件。
由于在对元数据的读取时，无需对存放数据文件的磁盘阵列进行访问，只需对存储元数据的系统磁盘进行访问。没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，从而通过上述对数据文件读取的过程对数据文件进行读取，可提高数据文件读取效率。
请参阅图8，在其中一个实施例中，将元数据存储于单独存储分区，将数据文件存储于磁盘阵列的步骤S400之后还包括步骤：
S550：分别对元数据和数据文件进行备份；
S560：当磁盘阵列发生故障时，根据元数据的备份以及数据文件的备份，对数据进行恢复。
通过对元数据以及数据文件备份，确保数据的可靠性，即使遇到磁盘阵列故障等极端情况，也能快速恢复数据文件。然而，若只是恢复数据文件，不恢复元数据，恢复的数据文件是无效的，从而根据数据文件的备份，对数据文件进行恢复的同时，根据元数据的备份，恢复元数据，从而使数据恢复，当数据文件和元数据一起恢复时，恢复的数据才会有效。
下面以具体实施例对上述数据管理方法加以说明，具体通过上述数据管理方法对录像视频文件进行读写为例进行详细说明。
请参阅图9，首先是对对系统磁盘进行分区，划分单独存储分区，设置与单独存储分区独立分开的磁盘阵列，对待存储数据进行分离，得到元数据与数据文件。在对媒体数据进行存储时，将媒体数据分离为录像视频索引和录像视频文件，即分离为元数据和数据文件。将媒体数据中的录像视频文件存储在磁盘阵列中，而媒体数据中的录像视频索引存储在与磁盘阵列独立分开的系统磁盘中，具体存储在系统磁盘中的单独存储分区。
当需要对元数据进行读取时，由于元数据存储在系统磁盘中，而不是存储在磁盘阵列中，可直接向系统磁盘发送元数据读取请求，无需通过RAID卡向磁盘阵列发送读取请求，减少写惩罚，根据元数据读取请求，对元数据进行读取。由于元数据和录像视频文件分开存储，对元数据的读取不会对存储录像视频文件的磁盘阵列产生干扰，录像视频文件的读取时，在磁盘阵列中不会产生对元数据的写入，大幅度减少由于琐碎的元数据读写而产生的磁盘碎片，可提高录像视频文件的读写速率，提高性能。
当需要进行元数据写入时，可直接向系统磁盘发送元数据写入请求，根据元数据写请求携带的写入地址，寻找单独存储分区中与写入地址对应的物理地址，生成写入执行指令，根据写入执行指令，将元数据请求中携带的待写入元数据写入到该物理地址中，完成待写入元数据的写入。由于存储元数据的系统磁盘与存储录像视频文件的磁盘阵列分开，在进行元数据写入时，无需对存放录像视频文件的磁盘阵列进行访问，对磁盘阵列无写惩罚，没有小I/O写到磁盘阵列中，都是整块的数据文件写入到磁盘阵列中，大数据文件读写I/O性能提高50％以上。
当需要读取录像视频文件时，首先向RAID卡发起录像视频文件读取请求，RAID卡计算定位录像视频文件在磁盘阵列中所在位置，并向磁盘阵列发起读取请求，根据读取请求，读取录像视频文件。由于在对元数据的读取时，无需对存放录像视频文件的磁盘阵列进行访问，只需对存储元数据的系统磁盘进行访问。没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，从而通过上述对录像视频文件读取的过程对录像视频文件进行读取，可提高录像视频文件读取效率。
在需要进行录像视频文件写入时，通过RAID卡将录像视频文件，即首先向RAID卡发送录像视频文件写请求，根据录像视频文件写请求，向磁盘阵列发送写请求，根据响应所述写请求生成的写执行指令，写入数据文件，即完成录像视频文件写入磁盘阵列。由于存储元数据的系统磁盘与存储录像视频文件的磁盘阵列分开，在进行元数据写入时，无需对存放录像视频文件的磁盘阵列进行访问，没有索引文件等元数据的干扰，可减少对录像视频文件写操作的干预，从而通过上述录像视频文件写入过程对录像视频文件进行写入，可提高录像视频文件的写入速率。
为了确保媒体数据的可靠性，对元数据和录像视频文件进行备份处理。在实际应用中，录像视频文件有可能会损坏，可通过根据录像视频文件的备份，对录像视频文件进行恢复的同时，根据元数据的备份，恢复元数据，从而使恢复的媒体数据有效。
综上所述，通过上述数据管理方法进行媒体数据管理时，可有效减小磁盘阵列的碎片，提高录像视频文件的读写效率以及磁盘阵列的使用寿命，从而提高系统性能。
请参阅图10，本发明还提供一种实施方式的数据管理系统，包括：
分区模块100，用于对系统磁盘进行分区，划分单独存储分区。
系统磁盘是指操作系统运行盘，元数据为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在实际操作过程中，提供服务器，首先对服务器的系统磁盘进行分区，为存储元数据提供单独存储分区，即将元数据存储在服务器的系统磁盘上，并提供单独的分区。例如，在系统磁盘中划出200G的存储空间作为索引文件分区，即为元数据在系统磁盘中划分出了单独存储分区。
设置模块200，用于设置与单独存储分区相对独立的磁盘阵列。
为存储数据文件，设置磁盘阵列，服务器由主机和磁盘阵列两部分构成，主机与磁盘阵列连接，磁盘阵列与系统磁盘是相对独立的，从而磁盘阵列与存储元数据的单独存储分区是独立分开的。
分离模块300，用于将待存储数据分离为元数据与数据文件。
待存储数据是包括元数据和数据文件的，数据在实际传送过程中，包括元数据和数据文件的传送，由于为元数据和数据文件提供的存储空间是分开独立的，从而需要对待存储数据进行分离得到元数据和数据文件。
存储模块400，用于将元数据存储于单独存储分区，将数据文件存储于磁盘阵列。
对元数据和数据文件进行分离后，将元数据和数据文件分别存储到系统磁盘和磁盘阵列中，实现元数据和数据文件的分开存储。
上述数据管理系统，将待存储数据分离为元数据与数据文件，将元数据存储于单独存储分区，将数据文件存储于与单独存储分区相对独立的磁盘阵列，元数据和数据文件的分开存储。从而对元数据进行读取时，无需通过RAID卡向磁盘阵列发送读写请求，而是通过直接向系统磁盘发送元数据读写请求，减少写惩罚，根据元数据读写请求，进行元数据的读写。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列是独立分开的，不但降低了磁盘阵列对元数据的存储压力，而且对元数据读写时，无需对存储数据文件的磁盘阵列进行访问，直接访问存储元数据的系统磁盘即可，没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读写效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。
请参阅图11，在其中一个实施例中，分离模块300包括：
第一获取模块310，用于提取待存储数据的前16个字节，获得元数据；
第二获取模块320，用于提取待存储数据的除前16个字节的剩余字节，获取数据文件。
待存储数据的前16个字节为元数据描述信息，在存入数据时，会将待存储数据前16个字节读出后以索引文件的形式写入系统磁盘中存储元数据的单独存储分区。待存储数据的其余字节为数据文件描述信息，将待存储数据的其余字节文件写入存储数据文件的磁盘阵列中。
请参阅图12，在其中一个实施例中，上述数据管理系统还包括：
第一发送模块500，用于向系统磁盘发送元数据读取请求。
数据管理系统直接维护系统磁盘中的元数据，元数据存储在系统磁盘上，从而在需要读取元数据时，可直接向系统磁盘发起元数据读取请求。
第一读取模块600，用于根据元数据读取请求，读取元数据。
元数据保存在服务器的系统磁盘上，并单独分区，而数据文件存放在磁盘阵列上。在进行元数据的读取时，无需对存放数据文件的磁盘阵列进行访问，只需对存储元数据的系统磁盘进行访问。没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，对数据文件读取效率和磁盘阵列使用寿命均有明显提升，有利于磁盘阵列保护。系统磁盘读取元数据后，将元数据发送，当接收到系统磁盘发送的元数据时，表示读取元数据成功。
在其中一个实施例中，上述数据管理系统还包括第一写入模块700：
第一发送模块500，还用于向系统磁盘发送元数据写请求。
当有元数据需要写入系统磁盘时，向系统磁盘发送元数据写请求。
第一写入模块700，用于根据响应所述元数据写请求生成的写入执行指令，写入元数据。
当需要写入元数据时，文件系统向系统磁盘发送元数据写请求，元数据写请求包括写入地址和待写入元数据，存储设备中存储单元对应实际地址称为物理地址，即单独存储分区对应的实际地址，是与写入地址对应的。根据元数据写请求携带的写入地址，寻找单独存储分区中与写入地址对应的物理地址，生成写入执行指令，根据写入执行指令，将元数据请求中携带的待写入元数据写入到该物理地址中，完成待写入元数据的写入。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列分开，在进行元数据写入时，无需对存放数据文件的磁盘阵列进行访问，从而对磁盘阵列无写惩罚，没有小I/O写到磁盘阵列中，都是整块的数据文件写入到磁盘阵列中，大数据文件读写I/O性能提高50％以上。且通过上述数据管理方法对元数据写入时，没有索引文件等元数据的干扰，可减少对数据文件写操作的干预，提高数据文件的写入速率，整块数据文件的写入相比小文件写入，可以大幅降低磁盘碎片，有利于磁盘保护。
请参阅图13，在其中一个实施例中，上述数据管理系统还包括：
第二发送模块800，用于向RAID卡发送数据文件写请求；还用于向RAID卡发送数据文件读取请求；
第三发送模块900，用于根据所述数据文件写请求，向所述磁盘阵列发送写请求；
第二写入模块1000，用于根据响应所述写请求生成的写执行指令，写入数据文件；
计算模块1100，用于根据所述数据文件读取请求，计算数据文件在所述磁盘阵列中的位置；
第四发送模块1200，用于根据数据文件在所述磁盘阵列中的位置，向所述磁盘阵列发送读取请求；
第二读取模块1300，用于根据所述读取请求，读取数据文件。
在需要进行数据文件写入时，向RAID卡发送数据文件写请求，通过RAID卡将数据文件写入磁盘阵列。由于存储元数据的系统磁盘与存储数据文件的磁盘阵列分开，在进行元数据写入时，无需对存放数据文件的磁盘阵列进行访问，没有索引文件等元数据的干扰，可减少对数据文件写操作的干预，从而通过上述数据文件写入过程对数据文件进行写入，可提高数据文件的写入速率。
数据文件存储在磁盘阵列上，从而在需要读取数据文件时，首先向RAID卡发起数据文件读取请求，RAID卡计算定位数据文件在磁盘阵列中所在位置，并向磁盘阵列发起读取请求，根据读取请求，读取数据文件。
由于在对元数据的读取时，无需对存放数据文件的磁盘阵列进行访问，只需对存储元数据的系统磁盘进行访问。没有索引文件等元数据的干扰，可大幅降低磁盘阵列的碎片，从而通过上述对数据文件读取的过程对数据文件进行读取，可提高数据文件读取效率。
请参阅图14，在其中一个实施例中，上述数据管理系统还包括：
备份模块1400，用于对元数据和数据文件进行备份。
恢复模块1500，用于当磁盘阵列发生故障时，根据元数据的备份以及数据文件的备份，对数据进行恢复。
通过对元数据以及数据文件备份，确保数据的可靠性，即使遇到磁盘阵列故障等极端情况，数据文件发生损坏，也能快速恢复数据文件。然而，若只是恢复数据文件，不恢复元数据，恢复的数据文件是无效的，从而根据数据文件的备份，对数据文件进行恢复的同时，根据元数据的备份，恢复元数据，从而使数据恢复，当数据文件和元数据一起恢复时，恢复的数据才会有效。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据管理方法，其特征在于，包括如下步骤：
对系统磁盘进行分区，划分单独存储分区；
设置与所述单独存储分区相对独立的磁盘阵列；
将待存储数据分离为元数据与数据文件；
将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列。
2.根据权利要求1所述的数据管理方法，其特征在于，所述将待存储数据分离为元数据与数据文件具体包括步骤：
提取所述待存储数据的前16个字节，获得所述元数据；
提取所述待存储数据的除前16个字节的剩余字节，获取所述数据文件。
3.根据权利要求1所述的数据管理方法，其特征在于，
所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列之后还包括步骤：
向所述系统磁盘发送元数据读取请求；
根据所述元数据读取请求，读取元数据。
4.根据权利要求1所述的数据管理方法，其特征在于，所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列之后还包括步骤：
向所述系统磁盘发送元数据写请求；
根据响应所述元数据写请求生成的写入执行指令，写入元数据。
5.根据权利要求1所述的数据管理方法，其特征在于，
所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列之后还包括步骤：
向RAID卡发送数据文件写请求；
根据所述数据文件写请求，向所述磁盘阵列发送写请求；
根据响应所述写请求生成的写执行指令，写入数据文件；
向RAID卡发送数据文件读取请求；
根据所述数据文件读取请求，计算数据文件在所述磁盘阵列中的位置；
根据数据文件在所述磁盘阵列中的位置，向所述磁盘阵列发送读取请求；
根据所述读取请求，读取数据文件。
6.根据权利要求1所述的数据管理方法，其特征在于，所述将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列之后还包括步骤：
分别对所述元数据和所述数据文件进行备份；
当所述磁盘阵列发生故障时，根据所述元数据的备份以及所述数据文件的备份，对数据进行恢复。
7.一种数据管理系统，其特征在于，包括：
分区模块，用于对系统磁盘进行分区，划分单独存储分区；
设置模块，用于设置与所述单独存储分区相对独立的磁盘阵列；
分离模块，用于将待存储数据分离为元数据与数据文件；
存储模块，用于将所述元数据存储于所述单独存储分区，将所述数据文件存储于所述磁盘阵列。
8.根据权利要求7所述的数据管理系统，其特征在于，所述分离模块包括：
第一获取模块，用于提取所述待存储数据的前16个字节，获得所述元数据；
第二获取模块，用于提取所述待存储数据的除前16个字节的剩余字节，获取所述数据文件。
9.根据权利要求7所述的数据管理系统，其特征在于，还包括：
第一发送模块，用于向所述系统磁盘发送元数据读取请求；
第一读取模块，用于根据所述元数据读取请求，读取元数据。
10.根据权利要求7所述的数据管理系统，其特征在于，还包括写入模块；
所述第一发送模块，还用于向所述系统磁盘发送元数据写请求；
所述第一写入模块，用于根据响应所述元数据写请求生成的写入执行指令，写入元数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510459365.5A CN104991747A (zh) | 2015-07-30 | 2015-07-30 | 数据管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510459365.5A CN104991747A (zh) | 2015-07-30 | 2015-07-30 | 数据管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104991747A true CN104991747A (zh) | 2015-10-21 |
Family
ID=54303563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510459365.5A Pending CN104991747A (zh) | 2015-07-30 | 2015-07-30 | 数据管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104991747A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095330A (zh) * | 2016-05-30 | 2016-11-09 | 杭州宏杉科技有限公司 | 一种元数据的存储方法和装置 |
| CN106873920A (zh) * | 2017-03-22 | 2017-06-20 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
| CN107346209A (zh) * | 2016-05-08 | 2017-11-14 | 上海霄云信息科技有限公司 | 一种多磁盘聚合式数据存储系统及其实现方法与应用方法 |
| WO2018086409A1 (zh) * | 2016-11-08 | 2018-05-17 | 杭州海康威视数字技术股份有限公司 | 一种磁盘数据读写方法及装置 |
| CN109683810A (zh) * | 2017-08-15 | 2019-04-26 | 金钱猫科技股份有限公司 | 一种读写方法及终端 |
| CN110047531A (zh) * | 2018-01-17 | 2019-07-23 | 爱思开海力士有限公司 | 半导体器件 |
| CN110147203A (zh) * | 2019-05-16 | 2019-08-20 | 北京金山云网络技术有限公司 | 一种文件管理方法、装置、电子设备及存储介质 |
| CN111506259A (zh) * | 2020-03-20 | 2020-08-07 | 普联技术有限公司 | 数据存储、读取方法、装置、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050138011A1 (en) * | 2003-12-23 | 2005-06-23 | Royer Robert J.Jr. | Meta-data storage and access techniques |
| US7873619B1 (en) * | 2008-03-31 | 2011-01-18 | Emc Corporation | Managing metadata |
| CN102024059A (zh) * | 2010-12-31 | 2011-04-20 | 成都市华为赛门铁克科技有限公司 | 一种文件系统内实现独立磁盘冗余阵列保护的方法及装置 |
| CN102521143A (zh) * | 2011-12-14 | 2012-06-27 | 瑞斯康达科技发展股份有限公司 | 一种堆数据处理方法及装置 |
| CN103399823A (zh) * | 2011-12-31 | 2013-11-20 | 华为数字技术（成都）有限公司 | 业务数据的存储方法、设备和系统 |
-
2015
- 2015-07-30 CN CN201510459365.5A patent/CN104991747A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050138011A1 (en) * | 2003-12-23 | 2005-06-23 | Royer Robert J.Jr. | Meta-data storage and access techniques |
| US7873619B1 (en) * | 2008-03-31 | 2011-01-18 | Emc Corporation | Managing metadata |
| CN102024059A (zh) * | 2010-12-31 | 2011-04-20 | 成都市华为赛门铁克科技有限公司 | 一种文件系统内实现独立磁盘冗余阵列保护的方法及装置 |
| CN102521143A (zh) * | 2011-12-14 | 2012-06-27 | 瑞斯康达科技发展股份有限公司 | 一种堆数据处理方法及装置 |
| CN103399823A (zh) * | 2011-12-31 | 2013-11-20 | 华为数字技术（成都）有限公司 | 业务数据的存储方法、设备和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨海军: "一种防止堆溢出的有效方法", 《计算机科学》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346209A (zh) * | 2016-05-08 | 2017-11-14 | 上海霄云信息科技有限公司 | 一种多磁盘聚合式数据存储系统及其实现方法与应用方法 |
| CN107346209B (zh) * | 2016-05-08 | 2022-05-20 | 上海霄云信息科技有限公司 | 一种多磁盘聚合式数据存储系统及其实现方法与应用方法 |
| CN106095330B (zh) * | 2016-05-30 | 2019-04-16 | 杭州宏杉科技股份有限公司 | 一种元数据的存储方法和装置 |
| CN106095330A (zh) * | 2016-05-30 | 2016-11-09 | 杭州宏杉科技有限公司 | 一种元数据的存储方法和装置 |
| WO2018086409A1 (zh) * | 2016-11-08 | 2018-05-17 | 杭州海康威视数字技术股份有限公司 | 一种磁盘数据读写方法及装置 |
| CN108062200A (zh) * | 2016-11-08 | 2018-05-22 | 杭州海康威视数字技术股份有限公司 | 一种磁盘数据读写方法及装置 |
| US11048601B2 (en) | 2016-11-08 | 2021-06-29 | Hangzhou Hikvision Digital Technology Co., Ltd. | Disk data reading/writing method and device |
| CN106873920B (zh) * | 2017-03-22 | 2023-07-28 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
| CN106873920A (zh) * | 2017-03-22 | 2017-06-20 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
| CN109683810A (zh) * | 2017-08-15 | 2019-04-26 | 金钱猫科技股份有限公司 | 一种读写方法及终端 |
| CN110047531A (zh) * | 2018-01-17 | 2019-07-23 | 爱思开海力士有限公司 | 半导体器件 |
| CN110047531B (zh) * | 2018-01-17 | 2023-10-27 | 爱思开海力士有限公司 | 半导体器件 |
| CN110147203A (zh) * | 2019-05-16 | 2019-08-20 | 北京金山云网络技术有限公司 | 一种文件管理方法、装置、电子设备及存储介质 |
| CN110147203B (zh) * | 2019-05-16 | 2022-11-04 | 北京金山云网络技术有限公司 | 一种文件管理方法、装置、电子设备及存储介质 |
| CN111506259B (zh) * | 2020-03-20 | 2023-06-06 | 普联技术有限公司 | 数据存储、读取方法、装置、设备及可读存储介质 |
| CN111506259A (zh) * | 2020-03-20 | 2020-08-07 | 普联技术有限公司 | 数据存储、读取方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104991747A (zh) | 数据管理方法及系统 | |
| CN103049222B (zh) | 一种raid5的写io优化处理方法 | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| CN100578470C (zh) | 基于裸设备的音视频数据存取方法和装置 | |
| CN102314383B (zh) | 数据索引的故障恢复方法和装置 | |
| CN102024044B (zh) | 分布式文件系统 | |
| CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
| CN103049224B (zh) | 将数据导入物理磁带的方法、装置和系统 | |
| US20160055189A1 (en) | Database Storage System based on Optical Disk Library, and Method Using Same | |
| CN102945207A (zh) | 一种块级数据的缓存管理方法及系统 | |
| CN108182154A (zh) | 一种基于固态硬盘的日志文件的读写方法及固态硬盘 | |
| CN104811645A (zh) | 一种嵌入式录像数据存储方法 | |
| CN104268088A (zh) | 车载dvr硬盘数据存储方法 | |
| CN107168651A (zh) | 一种小文件聚合存储处理方法 | |
| CN103034592A (zh) | 数据处理方法和装置 | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN105760252A (zh) | 实现事务日志镜像备份的方法及装置 | |
| CN105786410A (zh) | 一种提高数据存储系统处理速度的方法及数据存储系统 | |
| CN103164528B (zh) | 一种音视频数据的索引建立方法 | |
| WO2023185111A1 (zh) | 一种数据文件的快速存取方法及装置 | |
| CN103729149A (zh) | 一种存储数据的方法 | |
| CN103092849A (zh) | 文件系统簇管理方法 | |
| CN103207916B (zh) | 元数据处理的方法和装置 | |
| CN102262657A (zh) | 多媒体数据存储方法及系统 | |
| CN102737171B (zh) | 一种病毒文件存储的方法、装置及存储设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151021 |
|
| RJ01 | Rejection of invention patent application after publication |