CN111338559B - 数据处理方法、用户模块、信息管理模块及系统 - Google Patents

Abstract

本发明提供一种数据处理方法、用户模块、信息管理模块及系统，该方法包括：创建新的文件。当用户向文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，将条带记录的状态标记为正在使用状态。对条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到随机排列的磁盘ID列表。将内容顺序写入随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。将由条带ID和随机排列的磁盘ID列表组成的存储记录保存至文件对应的条带列表，并将条带记录的状态标记为已经使用状态。通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都提供输出服务，提高磁盘组的读取效率、利用率和降低成本。

Description

数据处理方法、用户模块、信息管理模块及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据处理方法、用户模块、信息管理模块及系统。

背景技术

随着科学技术的发展，在生活和工作中经常会涉及到数据的处理，比如数据的存储和读取。在进行数据存储和读取时，通常是通过磁盘来实现数据的读写操作。

目前较为常见的数据存储方法为：将若干个磁盘进行分组，比如将每12个磁盘按照0-11的固定序号分成一个磁盘组。将每一个磁盘按照一定大小分成若干个磁盘块，并从序号0开始为每个磁盘上的每个磁盘块进行排序。在同一个磁盘组中，从每个磁盘中获取磁盘块，将每12个序号相同的磁盘块进行组合，得到序号与磁盘块序号相同的磁盘条带。目前现有的磁盘存储技术在存储文件时，磁盘条带对应的序号为0-7的磁盘的磁盘块只用来存储文件的原始数据，序号为8-11的磁盘的磁盘块只用来存储文件的编码数据。在提供读取文件服务时，只有序号为0-7的磁盘提供了读取服务，而序号8-11的磁盘并没有提供读取服务，即仅有三分之二的磁盘在提供读取服务，导致磁盘组的提供读取服务效率低下和浪费磁盘组的磁盘性能。

因此，现有的磁盘存储技术存在磁盘组的提供读取服务效率低下、磁盘组的磁盘性能使用效率低和成本高等问题。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、用户模块、信息管理模块及系统，以解决现有的磁盘存储技术存在磁盘组的提供读取服务效率低下、磁盘组的磁盘性能使用效率低和成本高等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种数据处理方法，所述方法包括：

基于用户新创建的文件名，创建新的文件；

当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数；

对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表；

将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

可选的，所述对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表，包括：

逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID；

按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表。

可选的，所述将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中，包括：

将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成；

对所述原始数据进行编码，得到对应所述内容的编码数据；

将所述编码数据写入所述第二部分磁盘区域的磁盘中。

可选的，所述将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中之后，还包括：

按照所述存储记录的存储先后顺序进行位置编号，由先到后依次为0至m-1，m为所述文件对应的条带列表中保存的所述条带ID的总数量。

可选的，所述按照所述存储记录的存储先后顺序进行位置编号之后，还包括：

当用户读取所述文件的所述内容时，基于所述文件的偏移位置和每一所述条带能存储的原始数据的最大容量，在所述文件的条带列表中获取待读取的条带的位置编号；

基于所述待读取的条带的位置编号，从所述文件的条带列表中获取所述待读取的条带ID和对应的磁盘ID列表；

获取所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT；

基于所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。

本发明实施例第二方面公开了一种用户模块，所述模块包括：

第一接收单元，用于接收用户新创建的文件名，将所述文件名发送给信息管理模块，便于所述信息管理模块创建新的文件；

第二接收单元，用于当所述用户向所述文件写入内容时，接收所述信息管理模块发送的条带ID和所述条带ID对应的随机排列的磁盘ID列表，其中，所述条带ID由所述信息管理模块从条带管理表中随机获取标记为未使用状态的条带记录中获得的，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数，所述随机排列的磁盘ID列表由所述信息管理模块对条带ID对应的磁盘ID列表中的各个磁盘进行随机排列得到的；

写入单元，用于将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

发送单元，用于将所述条带ID和所述随机排列的磁盘ID列表发送给所述信息管理模块，便于所述信息管理模块将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

可选的，所述写入单元包括：

第一写入子单元，用于将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成；

编码子单元，用于将所述原始数据进行编码，得到对应所述内容的编码数据；

第二写入子单元，用于将所述编码数据写入所述第二部分磁盘区域的磁盘中。

本发明实施例第三方面公开了一种信息管理模块，所述模块包括：

创建单元，用于基于用户模块发送的文件名，创建新的文件；

获取单元，用于当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数；

排序单元，用于对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表；

发送单元，用于将所述条带ID和随机排列的磁盘ID列表发送给用户模块，便于所述用户模块将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

保存单元，用于将由所述用户模块发送的所述条带ID和随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

可选的，所述排序单元包括：

随机子单元，用于逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID；

排序子单元，用于按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表。

本发明实施例第四方面公开了一种数据处理系统，所述系统包括：本发明实施例第二方面公开的用户模块和本发明实施例第三方面公开的信息管理模块。

基于上述本发明实施例提供的一种数据处理方法、用户模块、信息管理模块及系统，该方法包括：创建新的文件。当用户向文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，将条带记录的状态标记为正在使用状态。对条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到条带ID对应的随机排列的磁盘ID列表。将内容顺序写入随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。将由条带ID和随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。在本发明提供的方案中，将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都提供输出服务，提高磁盘组的读取效率、利用率和降低成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的读取文件内容的流程图；

图3为本发明实施例提供的一种用户模块的结构框图；

图4为本发明实施例提供的一种用户模块的结构框图；

图5为本发明实施例提供的一种用户模块的结构框图；

图6为本发明实施例提供的一种信息管理模块的结构框图；

图7为本发明实施例提供的一种信息管理模块的结构框图；

图8为本发明实施例提供的一种信息管理模块的结构框图；

图9为本发明实施例提供的一种数据处理系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，目前现有的磁盘存储技术在存储文件时，磁盘条带对应的序号为0-7的磁盘的磁盘块只用来存储文件的原始数据，序号为8-11的磁盘的磁盘块只用来存储文件的编码数据。在提供读取文件服务时，只有序号为0-7的磁盘提供了读取服务，而序号8-11的磁盘并没有提供读取服务，即仅有三分之二的磁盘在提供读取服务，导致磁盘组的提供读取服务效率低下和浪费磁盘组的磁盘性能。

因此本发明实施例提供一种数据处理方法、用户模块、信息管理模块及系统，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

为更好方便理解本发明实施例中涉及到的磁盘和条带，下面对磁盘和条带的概念进行简略描述：

磁盘：磁盘是指计算机外部存储器中类似磁带的装置，用于存储数据。

磁盘条带化技术：磁盘条带化技术是指将一块连续的数据分成若干个小部分并分别存储到不同磁盘上的技术。

条带：利用磁盘条带化技术，将同一组磁盘中磁盘块号一样的磁盘块组成的部分称为条带，条带的编号与组成条带的磁盘块号一致。

参考图1，示出了本发明实施例提供的一种数据处理方法的流程图，所述方法包括：

步骤S101：基于用户新创建的文件名，创建新的文件。

在具体实现步骤S101的过程中，基于所述文件名，在文件管理表中新创建一条记录，将所述文件名写入到新创建的所述记录中。在所述记录中设置所述新的文件的创建时间为当前时间、修改所述新的文件的时间为当前时间，所述新的文件的大小为0和所述新的文件对应的条带列表为空。

步骤S102：当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态。

在具体实现步骤S102的过程中，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数。

为更好解释说明如何选取标记为未使用状态的条带记录，下面进行举例说明：假设在数据库中的条带管理表中为每一条带设置了标志位，分别为：表示条带未使用的标志位0、表示条带已经使用的标志位1和表示条带正在使用的标志位2。在写入文件时，从条带管理表中随机获取标志位为0的条带，并将该条带的标志位设置为2。

需要说明的是，条带管理表中的标志位设置包括但不仅限于上述涉及到的内容。

步骤S103：对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表。

在具体实现步骤S103的过程中，逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID，按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表。

需要说明的是，所述随机挑选的方式由技术人员根据实际情况进行设置。

步骤S104：将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。

在具体实现步骤S104的过程中，将所述随机排列的磁盘ID列表中的各个磁盘连接起来，并将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘对应的磁盘块中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成，所述第一部分磁盘区域的最大存储容量大于所述第二部分磁盘区域的最大存储内容。对所述原始数据进行编码，得到对应所述内容的编码数据。将所述编码数据写入所述第二部分磁盘区域的磁盘对应的磁盘块中。所述第一部分磁盘区域与第二部分磁盘区域的磁盘数量由技术人员根据实际情况进行设置，比如设置第一部分磁盘区域的磁盘数量为8个，第二部分磁盘区域的磁盘数量为4个，或者设置第一部分磁盘区域的磁盘数量为6个，第二部分磁盘区域的磁盘数量为3个。

需要说明的是，每一条带存储的内容为原始数据和编码数据，所述原始数据是所述用户存储的有效数据。

需要说明的是，针对每一条所述条带，将所述原始数据写入所述第一部分磁盘区域的时候，基于所述随机排列的磁盘ID列表中的磁盘ID顺序，将所述原始数据按顺序写入磁盘对应的磁盘块中。即当所述磁盘ID列表中的第一个磁盘对应的磁盘块存储容量满了以后，并且所述原始数据还未存储完，使用下一顺序的磁盘对应的磁盘块进行存储。当一条所述条带存储容量使用完了以后，选择新的所述条带继续存储所述原始数据，直至将所述原始数据全部存储。

步骤S105：将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

在具体实现步骤S105的过程中，所述文件对应的条带列表用于记录所述内容存储在哪些条带之中。将步骤S101中涉及到的所述文件列表中的文件大小更新为所述条带存储的原始数据的大小，并将所述条带记录的状态标记为已经使用状态。比如将所述条带的标志位设置为1。

优选的，在执行步骤S105的过程中，按照所述存储记录的存储先后顺序进行位置编号，由先到后依次为0至m-1，m为所述文件对应的条带列表中保存的所述条带ID的总数量。

为更好的解释说明上述步骤S101-S105中涉及到的内容，下面通过过程A1-A6进行举例说明：

假设服务器中包含若干个磁盘组，每个磁盘有相对应的ID。每一个磁盘组有12个磁盘，磁盘ID分别为0-11。每个磁盘划分10万个磁盘块，磁盘块号分别为0-99999，每个磁盘块的容量大小为4M。针对在每一个磁盘组，每个磁盘中磁盘块号一样的磁盘块组成一个条带，即组成了10万个条带，分别为0[0,1,2,3,4,5,6,7,8,9,10,11]至99999[0,1,2,3,4,5,6,7,8,9,10,11]，方括号外面的数字表示条带ID，所述条带ID与组成所述条带的磁盘块号一致，方括号里面的数字表示磁盘ID列表。每一条带中前三分之二的磁盘用于存储原始数据，即为上述步骤S104涉及到的第一部分磁盘区域，后三分之一的磁盘用于存储编码数据，即为所述第二部分磁盘区域。

A1、当用户向新创建的文件中写入63M的内容时，先从条带管理表中随机获取标记为未使用状态的条带记录，假设选择的第一条带为2[0,1,2,3,4,5,6,7,8,9,10,11]，条带ID为2，将条带ID为2的条带标记为正在使用状态。

A2、将第一条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到随机排列的磁盘ID列表2[2,3,0,5,4,6,11,10,1,8,7,9]，将63M的内容中前32M的原始数据按顺序分别写入磁盘ID为2、3、0、5、4、6、11和10对应的磁盘块号为2的磁盘块中，对所述内容的原始数据进行编码。剩余的磁盘ID为1、8、7和9对应的磁盘块号为2的磁盘块中存储编码数据。

A3、将所述第一条带ID和所述随机排列的磁盘ID列表组成的记录保存至所述文件对应的条带列表中，所述记录编号为0，并将所述条带记录的状态标记为已经使用状态，将所述条带的标志位设置为1。

A4、所述内容占用的容量大小还剩余63M-32M＝31M，从条带管理表中随机获取标记为未使用状态的条带记录，假设选择的第二条带为0[0,1,2,3,4,5,6,7,8,9,10,11]，条带ID为0，将条带ID为0的条带标记为正在使用状态。

A5、将第二条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到随机排列的磁盘ID列表0[9,8,10,2,1,3,6,0,4,7,5,11]，将所述31M的原始数据按顺序分别写入磁盘ID为9、8、10、2、1、3、6和0对应的磁盘块号为0的磁盘块中，对所述内容的原始数据进行编码。剩余的磁盘ID为4、7、5和11对应的磁盘块号为0的磁盘块中存储编码数据。由于磁盘ID为0对应的磁盘块号为0的磁盘块中只存储了3M内容，将剩余的1M容量填0。

A6、将所述第二条带ID和所述随机排列的磁盘ID列表组成的记录保存至所述文件对应的条带列表中，所述记录编号为1，并将所述条带记录的状态标记为已经使用状态，将所述条带的标志位设置为1。

需要说明的是，上述过程A1-A6涉及到的内容仅用于举例说明。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

优选的，在执行上述本发明实施例图1公开的步骤S105之后，当用户读取文件的内容时，参考图2，示出了本发明实施例提供的读取文件内容的流程图，包括以下步骤：

步骤S201：当用户读取所述文件的所述内容时，基于所述文件的偏移位置和每一所述条带能存储的原始数据的最大容量，在所述文件的条带列表中获取待读取的条带的位置编号。

在具体实现步骤S201的过程中，所述文件的偏移位置为0，表示从所述文件的第一个字节开始读取所述内容。所述用户可以在所述文件大小范围内随意设置所述偏移位置，从所述文件的任意位置开始读取所述内容。将所述偏移位置整除每一所述条带能存储的原始数据的最大容量得到一个数值，所述数值为在所述文件的条带列表中获取待读取的条带的位置编号。比如：假设所述文件的偏移为2，每一条带能存储的原始数据的最大容量为32M，将2整除32得到0，即选择在所述文件的条带列表中位置编号为0的条带作为待读取的条带。

步骤S202：基于所述待读取的条带的位置编号，从所述文件的条带列表中获取所述待读取的条带ID和对应的磁盘ID列表。

在具体执行步骤S202的过程中，所述待读取的条带ID和对应的磁盘ID列表预先保存在所述文件的条带列表中，具体的保存过程参见上述本发明实施例图1公开的步骤S105对应的内容。

步骤S203：获取所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT。

在具体实现S203的过程中，根据所述磁盘ID列表中每一磁盘ID，获取每一磁盘对应的IP和PORT。

需要说明的是，每一个磁盘ID都对应着唯一的IP和PORT。

步骤S204：基于所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。

在具体实现步骤S204的过程中，连接所述磁盘ID列表中的各个磁盘，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。每一个磁盘提供一个IP和PORT，用于访问或者写入数据。当获得磁盘上的磁盘块号时，通过每一个磁盘提供的IP、PORT和磁盘块号，可以读取所述磁盘对应的磁盘块中存储的内容，直至读取完全部内容或者用户停止读取操作。

为更好解释说明如何通过文件的偏移位置读取文件内容，结合上述过程A1-A6涉及到的内容，下面通过过程B1-B4进行举例说明：

假设用户需要从13M的位置读取文件内容，即文件的偏移位置为13M，总共读取9M内容。每一条带能存储的原始数据的最大容量为32M。组成所述条带的每一个磁盘块的存储容量为4M。

B1、使用13整除32得到0，表示从所述文件对应的条带列表中获取位置编号为0的条带，条带ID为2，即选择的条带为2[2,3,0,5,4,6,11,10,1,8,7,9]。

B2、使用13除以32余数为13，即从过程B1中选择的条带的13M位置开始读取文件内容。

B3、使用13除以4取整数部分得到3。从所述条带2[2,3,0,5,4,6,11,10,1,8,7,9]中的第四个磁盘中读取内容，即从磁盘ID为5的磁盘对应的磁盘块号为2的磁盘块中读取内容。

B4、使用13除以4取余数得到1，即从所述磁盘块中的第1M开始读取内容，最多读取容量为4-1＝3M的内容。即先从磁盘ID为5的磁盘对应的磁盘块号为2的磁盘块中读取3M内容，再从磁盘ID为4的磁盘对应的磁盘块号为2的磁盘块中读取4M内容，最后从磁盘ID为6的磁盘对应的磁盘块号为2的磁盘块中偏移位置为0处开始读取9-3-4＝2M内容。

需要说明的是，上述过程B1-B4涉及到的内容仅是用于举例说明，实际的读取文件内容的方式由技术人员根据实际情况进行设置。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

与上述本发明实施提供的一种数据处理方法相对应，参考图3，本发明实施例还提供了一种用户模块的结构框图，包括：第一接收单元301、第二接收单元302、写入单元303和发送单元304。

第一接收单元301，用于接收用户新创建的文件名，将所述文件名发送给信息管理模块，便于所述信息管理模块创建新的文件。具体内容参见上述本发明实施例图1公开的步骤S101相对应的内容。

第二接收单元302，用于当所述用户向所述文件写入内容时，接收所述信息管理模块发送的条带ID和所述条带ID对应的随机排列的磁盘ID列表，其中，所述条带ID由所述信息管理模块从条带管理表中随机获取标记为未使用状态的条带记录中获得的，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数，所述随机排列的磁盘ID列表由所述信息管理模块对条带ID对应的磁盘ID列表中的各个磁盘进行随机排列得到的。具体内容参见上述本发明实施例图1公开的步骤S102相对应的内容。

写入单元303，用于将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。具体内容参见上述本发明实施例图1公开的步骤S104相对应的内容。

发送单元304，用于将所述条带ID和所述随机排列的磁盘ID列表发送给所述信息管理模块，便于所述信息管理模块将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。具体内容参见上述本发明实施例图1公开的步骤S105相对应的内容。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

参考图4，示出了本发明实施例提供的一种用户模块的结构框图，所述写入单元303包括：第一写入子单元3031、编码子单元3032和第二写入子单元3033。

第一写入子单元3031，用于将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成。

编码子单元3032，用于将所述原始数据进行编码，得到对应所述内容的编码数据。

第二写入子单元3033，用于将所述编码数据写入所述第二部分磁盘区域的磁盘中。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

优选的，参考图5，示出了本发明提供的一种用户模块的结构框图，所述用户模块还包括：计算单元305、第三接收单元306和读取单元307。

计算单元305，用于当用户读取所述文件的所述内容时，基于所述文件的偏移位置和每一所述条带能存储的原始数据的最大容量，在所述文件的条带列表中获取待读取的条带的位置编号，并将所述位置编号发送给所述信息管理模块，便于所述信息管理模块基于所述待读取的条带的位置编号，从所述文件的条带列表中获取所述待读取的条带ID和对应的磁盘ID列表。具体内容参见上述本发明实施例图2提供的步骤S201和步骤S202相对应的内容。

第三接收单元306，用于接收所述信息管理模块发送的所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT。具体内容参见上述本发明实施例图2公开的步骤S203相对应的内容。

读取单元307，用于基于所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。具体内容参见上述本发明实施例图2公开的步骤S204相对应的内容。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

与上述本发明实施提供的一种数据处理方法相对应，参考图6，本发明实施例还提供了一种信息管理模块的结构框图，包括：创建单元601、获取单元602、排序单元603、发送单元604和保存单元605。

创建单元601，用于基于用户模块发送的文件名，创建新的文件。具体内容参见上述本发明实施例图1公开的步骤S101相对应的内容。

获取单元602，用于当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数。具体内容参见上述本发明实施例图1公开的步骤S102相对应的内容。

排序单元603，用于对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表。具体内容参见上述本发明实施例图1公开的步骤S103相对应的内容。

发送单元604，用于将所述条带ID和随机排列的磁盘ID列表发送给用户模块，便于所述用户模块将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。具体内容参见上述本发明实施例图1公开的步骤S104相对应的内容。

保存单元605，用于将由所述用户模块发送的所述条带ID和随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。具体内容参见上述本发明实施例图1公开的步骤S105相对应的内容。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

参考图7，示出了本发明实施例提供的一种信息管理模块的结构框图，所述排序单元603包括：

随机子单元6031，用于逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID。

排序子单元6032，用于按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

优选的，参考图8，示出了本发明实施例提供的一种信息管理模块的结构框图，所述信息管理模块还包括：

接收单元606，用于当用户读取所述文件的所述内容时，接收所述用户模块发送的待读取的条带的位置编号，所述待读取的条带的位置编号由所述用户模块基于所述文件的偏移位置和每一所述条带能存储的原始数据的最大容量计算获得的。具体内容参见上述本发明实施例图2公开的步骤S201相对应的内容。

获取单元607，用于基于所述待读取的条带的位置编号，从所述文件的条带列表中获取所述待读取的条带ID和对应的磁盘ID列表，并获取所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT。具体内容参见上述本发明实施例图2公开的步骤S202和S203相对应的内容。

传输单元608，用于将所述待读取的条带ID、所述待读取的条带ID对应的磁盘ID列表、所述磁盘ID列表中每一磁盘对应的IP和PORT发送给所述用户模块。便于所述用户模块基于所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。具体内容参见上述本发明实施例图2公开的步骤S204相对应的内容。

在本发明实施例中，通过将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都对外提供输出服务，能降低磁盘组的存储成本，提高磁盘组的读取效率和磁盘利用率。

与上述本发明实施例提供的一种数据处理方法相对应，参考图9，本发明实施例还提供了一种数据处理系统的结构框图，包括：用户模块901和信息管理模块902。

用户模块901的具体作用参见上述本发明实施例图3-图5公开的一种用户模块的结构框图相对应的内容。

信息管理模块902的具体作用参见上述本发明实施例图6-图8公开的一种信息管理模块的结构框图相对应的内容。

综上所述，本发明实施例提供一种数据处理方法、用户模块、信息管理模块及系统，该方法包括：创建新的文件。当用户向文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，将条带记录的状态标记为正在使用状态。对条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到条带ID对应的随机排列的磁盘ID列表。将内容顺序写入随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中。将由条带ID和随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。在本发明提供的方案中，将条带ID对应的磁盘ID列表中各个磁盘进行随机排列并存储内容。当读取内容时，每一个磁盘都提供输出服务，提高磁盘组的读取效率、利用率和降低成本。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法包括：

基于用户新创建的文件名，创建新的文件；

当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数；

逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID；

按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表；

将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

2.根据权利要求1所述的方法，其特征在于，所述将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中，包括：

将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成；

对所述原始数据进行编码，得到对应所述内容的编码数据；

将所述编码数据写入所述第二部分磁盘区域的磁盘中。

3.根据权利要求1所述的方法，其特征在于，所述将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中之后，还包括：

按照所述存储记录的存储先后顺序进行位置编号，由先到后依次为0至m-1，m为所述文件对应的条带列表中保存的所述条带ID的总数量。

4.根据权利要求3所述的方法，其特征在于，所述按照所述存储记录的存储先后顺序进行位置编号之后，还包括：

当用户读取所述文件的所述内容时，基于所述文件的偏移位置和每一所述条带能存储的原始数据的最大容量，在所述文件的条带列表中获取待读取的条带的位置编号；

基于所述待读取的条带的位置编号，从所述文件的条带列表中获取所述待读取的条带ID和对应的磁盘ID列表；

获取所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT；

基于所述待读取的条带对应的磁盘ID列表中每一磁盘对应的IP和PORT，将所述磁盘ID列表的第一部分磁盘区域存储的所述内容的原始数据发送给所述用户。

5.一种用户模块，其特征在于，所述模块包括：

第一接收单元，用于接收用户新创建的文件名，将所述文件名发送给信息管理模块，便于所述信息管理模块创建新的文件；

第二接收单元，用于当所述用户向所述文件写入内容时，接收所述信息管理模块发送的条带ID和所述条带ID对应的随机排列的磁盘ID列表，其中，所述条带ID由所述信息管理模块从条带管理表中随机获取标记为未使用状态的条带记录中获得的，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数，所述随机排列的磁盘ID列表由逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID，按照选择的先后顺序将所述N个磁盘ID进行排序得到的；

写入单元，用于将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

发送单元，用于将所述条带ID和所述随机排列的磁盘ID列表发送给所述信息管理模块，便于所述信息管理模块将由所述条带ID和所述随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态。

6.根据权利要求5所述的用户模块，其特征在于，所述写入单元包括：

第一写入子单元，用于将所述内容所包含的原始数据写入所述随机排列的磁盘ID列表的第一部分磁盘区域的磁盘中，所述随机排列的磁盘ID列表由第一部分磁盘区域和第二部分磁盘区域构成；

编码子单元，用于将所述原始数据进行编码，得到对应所述内容的编码数据；

第二写入子单元，用于将所述编码数据写入所述第二部分磁盘区域的磁盘中。

7.一种信息管理模块，其特征在于，所述模块包括：

创建单元，用于基于用户模块发送的文件名，创建新的文件；

获取单元，用于当所述用户向所述文件写入内容时，从条带管理表中随机获取标记为未使用状态的条带记录，并将所述条带记录的状态标记为正在使用状态，所述条带记录包括组成条带的N个磁盘块中每一磁盘块对应的磁盘ID、每一磁盘的IP和PORT、组成所述条带的磁盘块号和条带ID，N为正整数；

排序单元，用于对所述条带ID对应的磁盘ID列表中的各个磁盘进行随机排列，得到所述条带ID对应的随机排列的磁盘ID列表；

发送单元，用于将所述条带ID和随机排列的磁盘ID列表发送给用户模块，便于所述用户模块将所述内容顺序写入所述随机排列的磁盘ID列表中的各个磁盘对应的磁盘块中；

保存单元，用于将由所述用户模块发送的所述条带ID和随机排列的磁盘ID列表组成的存储记录保存至所述文件对应的条带列表中，并将所述条带记录的状态标记为已经使用状态；

所述排序单元包括：

随机子单元，用于逐个从所述磁盘ID列表中随机挑选不同的磁盘ID，直至获得N个磁盘ID；

排序子单元，用于按照选择的先后顺序将所述N个磁盘ID进行排序，得到所述条带ID对应的所述随机排列的磁盘ID列表。

8.一种数据处理系统，其特征在于，所述系统包括：权利要求5-6中任一项所述的用户模块和权利要求7中所述的信息管理模块。