CN102693096B - 基于位的串行传输云存储方法及装置 - Google Patents

Abstract

本发明涉及信息存储技术，具体是一种基于位的串行传输云存储方法及装置。本发明解决了现有数据存储介质阵列模式无法从根本上消除多个存储器的总线竞争、以及容易导致负载不均衡的问题。基于位的串行传输云存储方法，该方法是采用如下步骤实现的：1）数据的并行写入：以比特为分割单位，将接收到的一个K比特位并行数据流转换为K个1比特位串行数据流；2）数据的串行读出：将读出的K个1比特位串行数据流组装成为一个K比特位并行数据流。本发明适用于对各种具有支持串行访问的接口的存储介质阵列进行数据存储，尤其适用于海量数据存储。

Description

基于位的串行传输云存储方法及装置

技术领域

本发明涉及信息存储技术，具体是一种基于位的串行传输云存储方法及装置。

背景技术

现有商售串行存储介质阵列产品（如磁盘阵列、内存阵列、Flash阵列、RAM阵列等）的数据存储模式均采用基于字节的串行存储模式，例如SATA存储模式等。SATA存储介质阵列模式的特点是：将计算机总线发送来的并行数据输入到RAID进行处理，以字节（Byte）或位组（bit set）为数据单位进行分割后进行RAID处理，这些数据单位再封装成数据字节缓存，最后各自转换为串行数据分别写入由多个存储器组成的存储介质阵列，并且在一个访问周期内，只能一次支持对单独1个存储器的数据写入/读出操作，因而导致其无法从根本上消除多个存储器对总线的竞争。随着存储介质阵列的存储器数目不断增加，SATA存储模式便无法最大限度地利用存储介质阵列的其他存储器空间，由此导致负载不均衡。基于此，有必要发明一种全新的数据存储介质阵列模式，以解决现有数据存储介质阵列模式无法从根本上消除多个存储器的总线竞争、以及容易导致负载不均衡的问题，从而使得在一个访问周期内，能够一次支持对多个存储器的数据同时进行写入/读出操作，在存储容量扩容的同时实现访问吞吐量的同步提升。

发明内容

本发明为了解决现有数据存储介质阵列模式无法从根本上消除多个存储器的总线竞争、以及容易导致负载不均衡的问题，提供了一种基于位的串行传输云存储方法及装置。

本发明是采用如下技术方案实现的：基于位的串行传输云存储方法，该方法是采用如下步骤实现的：1）数据的并行写入：接收来自数据缓存的K比特位并行数据流；以比特为分割单位，将接收到的一个K比特位并行数据流转换为K个1比特位串行数据流；将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；2）数据的串行读出：读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；将读出的K个1比特位串行数据流组装成为一个K比特位并行数据流；将组装后的K比特位并行数据流发送至数据缓存；所述步骤1）-2）中，计算机总线宽度假定为但不限于32，K=32×m+r，且m是并行/串行数据流转换的缓冲深度，r是RAID引入的冗余位数（m、r均是正整数）。

与现有数据存储介质阵列模式（例如SATA存储模式）相比，本发明所述的基于位的串行传输云存储方法摒弃了传统的RAID标准，其以比特为分割单位将接收到的总线并行数据转换为串行数据流分别写入具有支持串行访问的接口的存储介质阵列，能在一个时钟周期内支持数目与总线宽度位数m倍相同的存储器同时读/写，因而其从根本上消除多个存储器的总线竞争和负载不均衡，提高了存储器的利用率。在存储器数目相等的前提下，本发明所述的基于位的串行传输云存储方法写入/读出数据的速度，理论上是现有数据存储介质阵列模式（例如SATA存储模式）的32×m倍。

所述步骤1）中，通过总线接口接收来自计算机总线的32比特位并行数据；通过数据缓存对接收到的32比特位并行数据进行m次缓冲；通过RAID部件对缓冲后的32×m比特位并行数据生成r比特位冗余校验码；将缓冲后的32×m比特位并行数据与r比特位冗余校验码一起组装形成一个K比特位并行数据流；通过并转串电路将组装形成的一个K比特位并行数据流转换为K个1比特位串行数据流；通过数据缓存将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；所述步骤2）中，通过数据缓存读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；通过串转并电路将读出的K个1比特位串行数据流组装形成一个K比特位并行数据流；通过RAID部件对组装形成的K比特位并行数据流进行检测；检测无误后，通过RAID部件去除K比特位并行数据流中的r比特位冗余校验码；通过数据缓存将去除r比特位冗余校验码后的K比特位并行数据流缓冲拆解为m个32比特位并行数据；通过总线接口将缓冲拆解后的32比特位并行数据发送至计算机总线。

所述步骤1）-2）中，存储器可以是但不限于磁盘或内存或Flash或RAM；所述步骤1）-2）中，支持串行访问的接口可以是但不限于SATA接口或SAS接口。

基于位的串行传输云存储装置（该装置用于实现本发明所述的基于位的串行传输云存储方法），包括总线接口、b-CSC控制器、并转串电路、串转并电路、数据缓存、K个转发处理单元、以及由K个具有SATA接口的存储器组成的存储介质阵列；其中，总线接口通过数据缓存分别与并转串电路和串转并电路连接；并转串电路和串转并电路均通过数据缓存与K个转发处理单元连接；K个转发处理单元与K个具有SATA接口的存储器一一对应连接；b-CSC控制器分别与K个转发处理单元连接。

具体工作时，b-CSC控制器和K个转发处理单元可以生成针对由各种具有支持串行访问的接口的存储器组成的存储介质阵列的控制命令和时序，包括但不限于针对由SATA接口或SAS接口组成的存储介质阵列的控制命令和时序。

b-CSC控制器接收来自计算机总线的对存储介质阵列的控制命令、以及来自存储介质阵列和计算机总线的数据，经过必要的处理后实现存储介质阵列和计算机总线之间的冗余数据信息交换。当进行数据的并行写入时，b-CSC控制器首先将来自计算机总线的对存储介质阵列的写入控制命令分别映射为对K个具有SATA接口的存储器的写入控制命令，然后将映射后的写入控制命令分别发送到K个转发处理单元；b-CSC控制器支持两种写入控制命令：第一种是块写入控制命令，适用于大数据的存储；在块写入控制命令下，一个逻辑块的尺寸为一个逻辑扇区尺寸的32×m倍；第二种是扇区写入控制命令，适用于小数据或大数据的末端存储；扇区写入控制命令通过一个块读出控制命令将存储介质阵列的32×m个扇区数据读出到缓冲区，然后修改缓冲区的目标数据区，再通过块写入控制命令将缓冲区的32×m个扇区数据回写到存储介质阵列。当进行数据的串行读出时，b-CSC控制器支持块读出控制命令，一次将一个32×m个扇区的数据读出到逻辑块缓冲区，然后将目标数据区的内容提交到计算机总线。

进一步地，还包括一个RAID部件；RAID部件分别与数据缓存和总线接口连接。当进行数据的并行写入时，RAID部件针对每组32×m比特位并行数据实时生成r比特位冗余校验码，r比特位冗余校验码与32×m比特位并行数据一起组装形成一个K比特位并行数据流；组装形成的K比特位并行数据流送入并转串电路。当进行数据的串行读出时，RAID部件首先利用读出的K比特位并行数据流中的r比特位冗余校验码对32×m个比特有效数据位进行实时纠错，然后去除r比特位冗余校验码，形成32×m比特位并行数据。

RAID部件可以按照两种方式对存储介质阵列的意外故障进行恢复：第一种情况是对于r个冗余校验盘体发生的数据故障，RAID部件可以依据32×m个有效数据盘体的数据重新生成冗余校验码流，写入替换后的完好盘体中；第二种情况是对于32×m个有效数据盘体中不超过r个盘体同时发生的数据故障，RAID部件可以依据r个冗余校验码流和32×m个有效数据盘体中未发生故障的有效数据重新生成正确的恢复数据流，写入替换后的完好盘体中。

本发明有效解决了现有数据存储介质阵列模式无法从根本上消除多个存储器的总线竞争、以及容易导致负载不均衡的问题，适用于对各种具有支持串行访问的接口的存储介质阵列进行数据存储，尤其适用于海量数据存储。

附图说明

图1是本发明所述的基于位的串行传输云存储装置的结构示意图。

图中：存储器1，存储器2，存储器3，存储器4，……，存储器31，存储器32，存储器33，存储器32+r均为存储器；转发处理单元1，转发处理单元2，转发处理单元3，转发处理单元4，……，转发处理单元31，转发处理单元32，转发处理单元33，转发处理单元32+r均为转发处理单元；b1,1，b1,2，……，b1,n-1，b1,n；b2,1，b2,2，……，b2,n-1，b2,n；b3,1，b3,2，……，b3,n-1，b3,n；b4,1，b4,2，……，b4,n-1，b4,n；……；b32,1，b32,2，……，b32,n-1，b32,n；b33,1，b33,2，……，b33,n-1，b33,n；b32+r,1，b32+r,2，……，b32+r,n-1，b32+r,n的含义为来自数据缓存的n个32+r比特位并行数据和来自存储介质阵列的32+r个1比特位串行数据流；n的含义为存储介质的最小寻址单元，例如对于SATA或SAS硬盘，n为512×8 = 4096。

具体实施方式

基于位的串行传输云存储方法，该方法是采用如下步骤实现的：

1）数据的并行写入：接收来自数据缓存的K比特位并行数据流；以比特为分割单位，将接收到的一个K比特位并行数据流转换为K个1比特位串行数据流；将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；

2）数据的串行读出：读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；将读出的K个1比特位串行数据流组装成为一个K比特位并行数据流；将组装后的K比特位并行数据流发送至数据缓存；

所述步骤1）-2）中，计算机总线宽度假定为但不限于32，K=32×m+r，且m是并行/串行数据流转换的缓冲深度，r是RAID引入的冗余位数。

所述步骤1）中，通过总线接口接收来自计算机总线的32比特位并行数据；通过数据缓存对接收到的32比特位并行数据进行m次缓冲；通过RAID部件对缓冲后的32×m比特位并行数据生成r比特位冗余校验码；将缓冲后的32×m比特位并行数据与r比特位冗余校验码一起组装形成一个K比特位并行数据流；通过并转串电路将组装形成的一个K比特位并行数据流转换为K个1比特位串行数据流；通过数据缓存将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；所述步骤2）中，通过数据缓存读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；通过串转并电路将读出的K个1比特位串行数据流组装形成一个K比特位并行数据流；通过RAID部件对组装形成的K比特位并行数据流进行检测；检测无误后，通过RAID部件去除K比特位并行数据流中的r比特位冗余校验码；通过数据缓存将去除r比特位冗余校验码后的K比特位并行数据流缓冲拆解为m个32比特位并行数据；通过总线接口将缓冲拆解后的32比特位并行数据发送至计算机总线。

所述步骤1）-2）中，存储器可以是但不限于磁盘或内存或Flash或RAM；所述步骤1）-2）中，支持串行访问的接口可以是但不限于SATA接口或SAS接口。

基于位的串行传输云存储装置（该装置用于实现本发明所述的基于位的串行传输云存储方法），包括总线接口、b-CSC控制器、并转串电路、串转并电路、数据缓存、K个转发处理单元、以及由K个具有SATA接口的存储器组成的存储介质阵列；其中，总线接口通过数据缓存分别与并转串电路和串转并电路连接；并转串电路和串转并电路均通过数据缓存与K个转发处理单元连接；K个转发处理单元与K个具有SATA接口的存储器一一对应连接；b-CSC控制器分别与K个转发处理单元连接。

b-CSC控制器和K个转发处理单元可以生成针对由各种具有支持串行访问的接口的存储器组成的存储介质阵列的控制命令和时序，包括但不限于针对由SATA接口或SAS接口组成的存储介质阵列的控制命令和时序。

b-CSC控制器接收来自计算机总线的对存储介质阵列的控制命令、以及来自存储介质阵列和计算机总线的数据，经过必要的处理后实现存储介质阵列和计算机总线之间的冗余数据信息交换；当进行数据的并行写入时，b-CSC控制器首先将来自计算机总线的对存储介质阵列的写入控制命令分别映射为对K个具有SATA接口的存储器的写入控制命令，然后将映射后的写入控制命令分别发送到K个转发处理单元；b-CSC控制器支持两种写入控制命令：第一种是块写入控制命令，适用于大数据的存储；在块写入控制命令下，一个逻辑块的尺寸为一个逻辑扇区尺寸的32×m倍；第二种是扇区写入控制命令，适用于小数据或大数据的末端存储；扇区写入控制命令通过一个块读出控制命令将存储介质阵列的32×m个扇区数据读出到缓冲区，然后修改缓冲区的目标数据区，再通过块写入控制命令将缓冲区的32×m个扇区数据回写到存储介质阵列；当进行数据的串行读出时，b-CSC控制器支持块读出控制命令，一次将一个32×m个扇区的数据读出到逻辑块缓冲区，然后将目标数据区的内容提交到计算机总线。

还包括一个RAID部件；RAID部件分别与数据缓存和总线接口连接；当进行数据的并行写入时，RAID部件针对每组32×m比特位并行数据实时生成r比特位冗余校验码，r比特位冗余校验码与32×m比特位并行数据一起组装形成一个K比特位并行数据流；组装形成的K比特位并行数据流送入并转串电路；当进行数据的串行读出时，RAID部件首先利用读出的K比特位并行数据流中的r比特位冗余校验码对32×m个比特有效数据位进行实时纠错，然后去除r比特位冗余校验码，形成32×m比特位并行数据。

RAID部件可以按照两种方式对存储介质阵列的意外故障进行恢复：第一种情况是对于r个冗余校验盘体发生的数据故障，RAID部件可以依据32×m个有效数据盘体的数据重新生成冗余校验码流，写入替换后的完好盘体中；第二种情况是对于32×m个有效数据盘体中不超过r个盘体同时发生的数据故障，RAID部件可以依据r个冗余校验码流和32×m个有效数据盘体中未发生故障的有效数据重新生成正确的恢复数据流，写入替换后的完好盘体中。

具体实施时，如图1所示，K=32+r（即m=1），r是正整数。RAID部件包含RAID校验编码单元和RAID校验解码单元，RAID校验编码单元和RAID校验解码单元均分别与数据缓存和总线接口连接。

Claims (6)

1.一种基于位的串行传输云存储方法，其特征在于：该方法是采用如下步骤实现的：

1）数据的并行写入：接收来自数据缓存的K比特位并行数据流；以比特为分割单位，将接收到的一个K比特位并行数据流转换为K个1比特位串行数据流；将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；

2）数据的串行读出：读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；将读出的K个1比特位串行数据流组装成为一个K比特位并行数据流；将组装后的K比特位并行数据流发送至数据缓存；

所述步骤1）-2）中，计算机总线宽度设定为但不限于32，K=32×m+r，且m是并行/串行数据流转换的缓冲深度，r是RAID引入的冗余位数。

2.根据权利要求1所述的基于位的串行传输云存储方法，其特征在于：

所述步骤1）中，通过总线接口接收来自计算机总线的32比特位并行数据；通过数据缓存对接收到的32比特位并行数据进行m次缓冲；通过RAID部件对缓冲后的32×m比特位并行数据生成r比特位冗余校验码；将缓冲后的32×m比特位并行数据与r比特位冗余校验码一起组装形成一个K比特位并行数据流；通过并转串电路将组装形成的一个K比特位并行数据流转换为K个1比特位串行数据流；通过数据缓存将转换后的K个1比特位串行数据流同时分别写入由K个具有支持串行访问的接口的存储器组成的存储介质阵列；所述步骤2）中，通过数据缓存读出来自由K个具有支持串行访问的接口的存储器组成的存储介质阵列的K个1比特位串行数据流；通过串转并电路将读出的K个1比特位串行数据流组装形成一个K比特位并行数据流；通过RAID部件对组装形成的K比特位并行数据流进行检测；检测无误后，通过RAID部件去除K比特位并行数据流中的r比特位冗余校验码；通过数据缓存将去除r比特位冗余校验码后的K比特位并行数据流缓冲拆解为m个32比特位并行数据；通过总线接口将缓冲拆解后的32比特位并行数据发送至计算机总线。

3.根据权利要求1或2所述的基于位的串行传输云存储方法，其特征在于：所述步骤1）-2）中，存储器可以是但不限于磁盘或内存或Flash或RAM；所述步骤1）-2）中，支持串行访问的接口可以是但不限于SATA接口或SAS接口。

4.一种基于位的串行传输云存储装置，该装置用于实现如权利要求3所述的基于位的串行传输云存储方法，其特征在于：包括总线接口、b-CSC控制器、并转串电路、串转并电路、数据缓存、K个转发处理单元、以及由K个具有SATA接口的存储器组成的存储介质阵列；其中，总线接口通过数据缓存分别与并转串电路和串转并电路连接；并转串电路和串转并电路均通过数据缓存与K个转发处理单元连接；K个转发处理单元与K个具有SATA接口的存储器一一对应连接；b-CSC控制器分别与K个转发处理单元连接；

b-CSC控制器和K个转发处理单元可以生成针对由各种具有支持串行访问的接口的存储器组成的存储介质阵列的控制命令和时序，包括但不限于针对由SATA接口或SAS接口组成的存储介质阵列的控制命令和时序；

b-CSC控制器接收来自计算机总线的对存储介质阵列的控制命令、以及来自存储介质阵列和计算机总线的数据，经过必要的处理后实现存储介质阵列和计算机总线之间的冗余数据信息交换；当进行数据的并行写入时，b-CSC控制器首先将来自计算机总线的对存储介质阵列的写入控制命令分别映射为对K个具有SATA接口的存储器的写入控制命令，然后将映射后的写入控制命令分别发送到K个转发处理单元；b-CSC控制器支持两种写入控制命令：第一种是块写入控制命令，适用于大数据的存储；在块写入控制命令下，一个逻辑块的尺寸为一个逻辑扇区尺寸的32×m倍；第二种是扇区写入控制命令，适用于小数据或大数据的末端存储；扇区写入控制命令通过一个块读出控制命令将存储介质阵列的32×m个扇区数据读出到缓冲区，然后修改缓冲区的目标数据区，再通过块写入控制命令将缓冲区的32×m个扇区数据回写到存储介质阵列；当进行数据的串行读出时，b-CSC控制器支持块读出控制命令，一次将一个32×m个扇区的数据读出到逻辑块缓冲区，然后将目标数据区的内容提交到计算机总线。

5.根据权利要求4所述的基于位的串行传输云存储装置，其特征在于：还包括一个RAID部件；RAID部件分别与数据缓存和总线接口连接；当进行数据的并行写入时，RAID部件针对每组32×m比特位并行数据实时生成r比特位冗余校验码，r比特位冗余校验码与32×m比特位并行数据一起组装形成一个K比特位并行数据流；组装形成的K比特位并行数据流送入并转串电路；当进行数据的串行读出时，RAID部件首先利用读出的K比特位并行数据流中的r比特位冗余校验码对32×m个比特有效数据位进行实时纠错，然后去除r比特位冗余校验码，形成32×m比特位并行数据。

6.根据权利要求5所述的基于位的串行传输云存储装置，其特征在于：RAID部件可以按照两种方式对存储介质阵列的意外故障进行恢复：第一种情况是对于r个冗余校验盘体发生的数据故障，RAID部件可以依据32×m个有效数据盘体的数据重新生成冗余校验码流，写入替换后的完好盘体中；第二种情况是对于32×m个有效数据盘体中不超过r个盘体同时发生的数据故障，RAID部件可以依据r个冗余校验码流和32×m个有效数据盘体中未发生故障的有效数据重新生成正确的恢复数据流，写入替换后的完好盘体中。

Images