CN1996266A - 一种多级缓冲的存储系统和方法 - Google Patents

Abstract

本发明涉及数据通信领域中的存储技术，尤其涉及一种多级缓冲的存储系统和方法。本发明所述的系统包括一级存储单元、硬盘和控制模块，所述一级存储单元为磁盘缓冲区，用于临时存储需要写入/读出的数据，所述控制模块用于控制数据的读写操作，所述的二级存储单元，用于根据控制模块的指令写入一级存储单元临时存储的数据，并在存储的数据总量达到设定的阈值时将自身存储的数据导入到硬盘上。通过使用本发明所述的系统和方法，能够增强对硬盘的保护，延长硬盘的使用寿命，提高存储系统运行的可靠性和稳定性。

Description

一种多级缓冲的存储系统和方法

技术领域

本发明涉及数据通信领域中的存储技术，尤其涉及一种多级缓冲的存储系统和方法。

背景技术

当前，由于硬盘具有技术成熟，存储容量大，应用方便等诸多优点，所以很多系统都倾向于采用硬盘作为主要的存储介质存储系统的各种数据。

众所周知硬盘为高精密设备，其对使用环境和应用方法有着严格的要求和限制。普通的民用硬盘其寿命一般在20000小时左右，在一般的硬盘手册中一般会给出明确的使用限制即：每日上电时间不多于10小时，读写占空比小于20％。在实际应用中，系统往往会划分一部分内存作为硬盘或其等价设备(CFCARD，U盘等)的磁盘缓冲区，对读写操作的数据进行缓存，以减少对硬盘或其等价设备的访问次数。

在某些应用场景中，一些设备需要长时间运行并在运行的过程中随机存储一些中小数据量的数据如日志等等，读写不是特别频繁，这些设备往往几个月甚至几年不间断的工作。在这样的系统中，如果采用硬盘为存储介质来连续的或者不定期的存储一些数据，那么势必会造成硬盘长时间处于上电工作状态，甚至24小时不间断工作。这样的工作状态严重违背了硬盘基本工作要求，致使硬盘寿命急剧缩短，存储系统的可靠性很低。

发明内容

本发明提供了一种多级缓冲的存储系统和方法，能够增强对硬盘的保护，延长硬盘的使用寿命，提高存储系统运行的可靠性和稳定性。

本发明所述存储系统的一个实施例包括一级存储单元、硬盘和控制模块，所述一级存储单元为磁盘缓冲区，用于临时存储需要写入/读出的数据，所述控制模块用于控制数据的读写操作，所述的存储系统还包括二级存储单元，用于根据控制模块的指令写入一级存储单元临时存储的数据，并在存储的数据总量达到设定的阈值时将自身存储的数据导入到硬盘上。

其中，所述的存储系统还包括硬盘上下电控制单元，用于根据控制模块的指令对硬盘进行上下电操作。

其中，所述的硬盘上下电单元包括：

供电模块，用于为所述硬盘提供电源；

功率器件，用于控制供电模块提供的所述电源的导通和断开；

上下电控制模块，用于根据所述控制模块的指令控制所述功率器件处于工作状态或者非工作状态。

其中，所述的二级存储单元是以Flash为核心技术的存储器件，包括但不限于CF卡、DOM电子盘和DOC电子盘。

本发明公开的一种多级缓冲的存储方法的实施例包括一下步骤：

二级存储单元根据控制模块的指令从一级存储单元中写入数据；

判断所述二级存储单元中存储的数据量是否达到设定的阈值，如果已经达到规定的阈值，将所述二级存储单元中存储的数据导入硬盘，删除所述二级存储单元中的相应数据。

其中，所述的将二级存储单元中存储的数据导入硬盘的步骤具体包括：

对所述硬盘上电并进行初始化；

根据所述控制模块的指令将所述二级存储单元中存储的数据导入所述硬盘中；

对所述硬盘进行下电操作。

其中，所述的方法进一步包括读取数据的步骤：

判断所述二级存储单元中是否存在需要读取的数据，

如果存在，直接从所述二级存储单元中读取所述需要读取的数据；

如果不存在，则判断所述硬盘是否处于上电状态，如果是，在所述硬盘中查找所述需要读取的数据并读出，如果否，对硬盘进行上电，在硬盘中查找所述需要读取的数据并读出，读取结束后，对硬盘进行下电操作。

其中，所述的硬盘上电的步骤具体包括：控制模块发出接通硬盘电源的指令，为所述硬盘上电；

所述的硬盘下电的步骤具体包括：控制模块发出断开硬盘电源的指令，为所述硬盘下电。

其中，所述的方法进一步包括故障处理的步骤：

所述控制模块对所述二级存储单元或者所述硬盘进行读写操作时，检查所述二级存储单元或所述硬盘的工作状态，

若所述硬盘发生故障，所述控制模块仅对二级存储单元进行读写操作，同时发送硬盘告警通知；

若所述二级存储单元发生故障，所述控制模块控制对所述硬盘上电，由所述硬盘完成本应当由二级存储单元完成的读写操作，同时发送二级存储单元告警通知。

其中，所述的方法进一步包括故障恢复的步骤：

控制模块周期性判断发生故障的所述二级存储单元或者所述硬盘是否存在，如果存在，则进一步判断该所述二级存储单元或者所述硬盘是否已经修复，

如果发生故障的是硬盘并且已经修复，则在二级存储单元存储的数据总量达到规定的阈值时，将所述二级存储单元中存储的数据导入硬盘；

如果发生故障的是二级存储单元并且已经修复，则初始化被修复的二级存储单元，初始化完成后，所述控制模块在一个对所述硬盘的读写操作完成后，将下一个读写操作转由所述二级存储单元进行，然后对硬盘进行下电操作。

本发明系统中设计了一个与硬盘优缺点互补的二级存储单元，通过合理扩大二级存储单元的容量，使得硬盘在系统数据存储的过程中长时间处于下电状态，在每天小数据量存储的情况下硬盘甚至仅需要每几周上电一次，每次上电仅工作几分钟即可完成系统要求的数据存储功能。此种方案极大的减少了硬盘的工作时间延长了其使用寿命。同时，二级存储单元和硬盘还形成了1+1冗余备份。当二级存储单元或者硬盘之中任意一个发生损坏的时候，系统可以通过相应的故障管理方法和倒换策略使系统的存储功能由另一未损坏的存储单元独立承担，从而可以使系统不间断运行，因此，这种冗余备份的方式还大大增强了整个存储系统的可靠性和稳定性。

附图说明

图1是本发明所述存储系统的实施例的结构示意图；

图2是本发明所述存储方法的实施例的简化流程图；

图3是本发明所述存储方法的实施例的主用流程图。

具体实施方式

本发明涉及数据通信领域的数据存储技术，提供了一种多级缓冲的存储系统和方法。本发明提供的存储系统和方法主要应用于数据存储量不是很大的场合。可以有效延长硬盘的使用时间，增加系统的稳定性和可靠性。

为了使本发明的目的、技术方案及其优点更加清楚明白，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不能作为对本发明的限定。

参见图1，为本发明所述存储系统的一个实施例的结构示意图。该系统包括一级存储单元1、二级存储单元2、供电模块3、功率器件4、上下电控制模块5、硬盘6和控制模块7。其中，控制模块7具有中央处理器的功能，控制了整个数据的存储流程。

一级存储单元1为磁盘缓冲区，一般为DDR(Double Data Rate SDRAM，双倍速率同步动态随机存储器)，NVRAM(Non-Volatile Random Access Memory非易失性存储器)及其类似结构的器件，是系统为硬盘、CF卡或等价磁盘设备提供的临时数据存储区。本发明中，一级存储单元1主要为二级存储单元2，特殊情况下也为硬盘6(例如二级存储单元故障，由硬盘独立进行数据存储的时候)提供临时数据存储区。

二级存储单元2为Flash存储芯片，或者以Flash技术为核心技术的其他存储器件，包括但不限于CF卡，DOM(Disk On Moudle)电子盘，DOC(DISK ONCHIP)电子盘。这些以Flash技术为核心技术的存储器件内部没有机械构件，使用寿命只跟擦写次数相关，对上电时间也不敏感。

供电模块3为硬盘提供电源。

功率器件4用于控制硬盘电源的导通和断开，一般为MOS管，也可以是具有开关功能的其他器件。

上下电控制模块5是硬盘上下电控制的逻辑单元，能够根据控制模块的指令，控制功率器件4对硬盘进行电源的导通和断开。

硬盘6用于接收二级存储单元2导入的数据，并且在二级存储单元2发生故障的时候，独立完成数据的读写操作。

本实施例中的系统是这样工作的：系统启动后，产生了需要存储的数据，先将其写入一级存储单元1，控制模块7判断发现一级存储单元累积到了一定的数据存储量，就发出指令，将一级存储单元1中存储的数据发送到二级存储单元2。系统不断的写入数据，控制模块7判断发现二级存储单元2中存储的数据量已经达到了一定阈值(例如，达到了二级存储单元存储容量的80％或者90％)，则控制模块7指令上下电控制模块5控制功率器件4导通硬盘6与电源之间的连接，给硬盘6上电。上电完成以后，控制模块7初始化硬盘6，然后将二级存储单元2中存储的数据全部导入硬盘，导入过程完成后，控制模块7首先通过上下电控制模块5对硬盘下电，清空二级存储单元2中存储的内容。

在正常的工作状态下，本实施例中的存储系统中的硬盘6一般处于下电不工作的状态，只有在二级存储单元2中存储的数据量达到一定阈值时，硬盘才进行上电和数据导入操作，因此通过使用本系统，可以很大程度降低硬盘的实际使用时间，延长了硬盘的使用寿命。此外，由于二级存储单元2本身具有独立的存储能力，在硬盘6或者二级存储单元2发生故障的情况下，控制模块7可以指令没有发生故障的存储设备(硬盘或者二级存储单元)独立完成数据的存储，这种存储设备冗余备份设计，增强了整个系统的稳定性和可靠性。

参见图2，为本发明所述方法的实施例的简化流程图。本实施例应用于图1所示的系统中，该流程表明，本实施例的中的数据存储主要由二级存储单元来独立完成(主用流程)，当二级存储单元发生故障的时候，则根据倒换策略，把数据存取操作倒换到硬盘上，由硬盘来独立完成数据的存取操作(备用流程)。当二级存储单元的故障恢复后，控制模块又根据倒换策略恢复主用流程的执行。下面将对所有流程进行详细说明。

参见图3，本发明所述存储方法的实施例的主用流程图。该方法包括以下步骤：

301、系统产生需要存储的数据；

正如前面已经提到的那样，本发明的方法也主要应用在系统产生的需要存储的数据量不是很大的情况，这里的数据可以是系统的运行情况记录，例如日志等。

302、控制模块在需要存储的数据写入一级存储单元前，判断一级存储单元存储是否已经写满，如果没有写满，执行步骤303；如果一级存储单元存储已经写满，执行步骤304；

303、步骤301中需要存储的数据在控制模块的作用下写入一级存储单元；

在上述步骤中，一级存储单元是否已经写满并不是将一级存储单元中的数据写入二级存储单元的必要条件，使用者可以根据需要设定其他的条件，在该条件满足时，执行步骤304；

304、控制模块将一级存储单元中的数据写入二级存储单元前，判断二级存储单元存储的数据总量是否达到了设定的阈值，如果没有达到，就继续上面的数据写入流程；如果二级存储单元存储的数据总量已经达到规定的阈值，执行步骤306；

305、根据控制模块的指令将一级存储单元中存储的数据写入二级存储单元，然后清空一级存储单元中的相应内容；

在上述步骤中，控制模块还需要判断二级存储单元的是否有足够的存储空间来写入一级存储单元的内容，如果有足够的空间，则进行写入操作，如果没有足够的存储空间，则先要将二级存储单元的内容导入硬盘之后才能进行相应的操作。

这里阈值的设置是为了防止二级存储单元写满后发生数据的丢失，但是阈值也不能设置过小，如果设置过小，将会引起硬盘的频繁上下电，违背了保护硬盘的初衷。

306、根据控制模块的指令，上下电控制模块发出接通硬盘电源的指令，功率器件根据该指令，接通电源，为硬盘上电；

307、硬盘上电后，根据控制模块的指令将二级存储单元中存储的数据导入硬盘；

308、控制模块在二级存储单元中的数据全部导入硬盘后，清空二级存储单元中的相应内容；

309、根据控制模块的指令，上下电控制模块发出断开硬盘电源的指令，功率器件根据该指令，断开电源，为硬盘下电。

步骤308和309并没有严格的执行顺序，因此，控制模块还可以先对硬盘下电然后再清空二级存储单元中的相应内容。

以上是主用的数据写入流程。上述过程中，硬盘的上电过程具体包括：控制模块通过上下电控制模块控制功率器件导通对硬盘进行加电，然后执行硬盘手册中所规定的相关初始化流程对硬盘进行相关的初始化操作。上电操作的结果为硬盘处于可用状态即可进行相关的读写等操作。硬盘的下电的过程包括：控制模块执行硬盘手册中所规定的相关流程对硬盘进行关闭操作，当所有操作完成后，控制模块通过上下电控制模块使功率器件对硬盘下电。

本发明实施例还包括了数据的读出过程，当系统要读取数据的时候，控制模块搜索二级存储单元，判断是否存在需要读出的数据，如果否，则控制模块继续判断硬盘是否处于上电状态，如果硬盘没有上电，则控制模块指令上下电控制模块通过功率器件对硬盘进行上电操作，然后，控制模块在硬盘中查找到需要读出的数据并读出，在读出过程结束后，控制模块指令上下电控制模块通过功率器件对硬盘进行下电操作，使硬盘恢复不工作的状态。

在本实施例中，还包括了异常处理流程，即硬盘异常处理流程和二级存储单元异常处理流程(图2中的备用流程)。

硬盘异常处理流程包括：控制模块在对硬盘进行读写操作时，可以采用实时检测、触发检测、定期检测等方式检查读写的数据的正确性，如果发现读写异常，则认为硬盘已经出现故障，此时，控制模块放弃对硬盘的操作，并发出硬盘异常告警，要求维修硬盘。控制模块发出硬盘异常告警后，根据故障检测定时器定期检测系统中是否存在硬盘，如果控制模块发现了硬盘，则控制模块对硬盘进行初始化操作，如果初始化过程能够顺利进行，控制模块判定硬盘故障已经恢复，控制模块消除硬盘告警状态，恢复正常的读写流程(在二级存储单元存储的数据总量达到设定的阈值后将二级存储单元的数据导入到硬盘上，或者在从二级存储单元查找不到需要取得时候，从硬盘查找需要读取的数据)。

二级存储单元异常处理流程包括：控制模块在对二级存储单元进行读写操作时，可以采用实时检测、触发检测、定期检测等方式检查读写的数据的正确性，如果发现读写异常，则认为二级存储单元已经出现故障，控制模块触发倒换策略，首先判断硬盘是否处于上电状态，如果硬盘处于上电状态，控制模块直接通过硬盘进行数据的读写操作；如果硬盘处于下电状态，在控制模块的指令下对硬盘进行上电，上电完成后，控制模块直接通过硬盘进行数据的读写操作，同时发出二级存储单元异常告警，要求维修二级存储单元。控制模块发出二级存储单元异常告警后，根据故障检测定时器定期检测系统中是否存在二级存储单元，如果控制模块发现了二级存储单元，则控制模块对二级存储单元进行初始化操作，如果初始化过程能够顺利进行，控制模块判定二级存储单元故障已经恢复，控制模块消除二级存储单元的告警状态，在对硬盘正在进行的一个读写操作完成后，将下一个读写操作切换到二级存储单元上。控制模块通过上下电控制模块指令功率器件为硬盘进行下电。

通过实施上述系统和方法，在每天仅需存储较小数据量的情况下，硬盘在系统运行，系统数据的存储过程中长时间处于下电状态，减少了硬盘的工作时间，延长了硬盘的使用寿命。同时，在发生故障时，二级存储单元和硬盘互为备份，当其中一个发生故障时，另一个能够独立完成数据读写工作，增强了系统的稳定性和可靠性。

以上所述，仅为本发明的较佳实施例，本领域的普通技术人员在这些实施例基础上所作的通常改进和替换，都应该包含在本发明的保护范围之内。

Claims (10)

1、一种多级缓冲的存储系统，包括一级存储单元、硬盘和控制模块，所述一级存储单元为磁盘缓冲区，用于临时存储需要写入/读出的数据，所述控制模块用于控制数据的读写操作，其特征在于，所述的存储系统还包括

二级存储单元，用于根据控制模块的指令写入一级存储单元临时存储的数据，并在存储的数据总量达到设定的阈值时将自身存储的数据导入到硬盘上。

2、根据权利要求1所述的存储系统，其特征在于，所述的存储系统还包括

硬盘上下电控制单元，用于根据控制模块的指令对硬盘进行上下电操作。

3、根据权利要求2所述的存储系统，其特征在于，所述的硬盘上下电单元包括：

供电模块，用于为所述硬盘提供电源；

功率器件，用于控制供电模块提供的所述电源的导通和断开；

上下电控制模块，用于根据所述控制模块的指令控制所述功率器件处于工作状态或者非工作状态。

4、根据权利要求1或2所述的存储系统，其特征在于，所述的二级存储单元是以Flash为核心技术的存储器件，包括但不限于CF卡、DOM电子盘和DOC电子盘。

5、一种多级缓冲的存储方法，其特征在于，包括：

二级存储单元根据控制模块的指令从一级存储单元中写入数据；

判断所述二级存储单元中存储的数据量是否达到设定的阈值，如果已经达到规定的阈值，将所述二级存储单元中存储的数据导入硬盘，删除所述二级存储单元中的相应数据。

6、根据权利要求5所述的方法，其特征在于，所述的将二级存储单元中存储的数据导入硬盘的步骤具体包括：

对所述硬盘上电并进行初始化；

根据所述控制模块的指令将所述二级存储单元中存储的数据导入所述硬盘中；

对所述硬盘进行下电操作。

7、根据权利要求5所述的方法，其特征在于，所述的方法进一步包括读取数据的步骤：

判断所述二级存储单元中是否存在需要读取的数据，

如果存在，直接从所述二级存储单元中读取所述需要读取的数据；

如果不存在，则判断所述硬盘是否处于上电状态，如果是，在所述硬盘中查找所述需要读取的数据并读出，如果否，对硬盘进行上电，在硬盘中查找所述需要读取的数据并读出，读取结束后，对硬盘进行下电操作。

8、根据权利要求6或7所述的方法，其特征在于，所述的硬盘上电的步骤具体包括：控制模块发出接通硬盘电源的指令，为所述硬盘上电；

所述的硬盘下电的步骤具体包括：控制模块发出断开硬盘电源的指令，为所述硬盘下电。

9、根据权利要求5所述的方法，其特征在于，所述的方法进一步包括故障处理的步骤：

所述控制模块对所述二级存储单元或者所述硬盘进行读写操作时，检查所述二级存储单元或所述硬盘的工作状态，

若所述硬盘发生故障，所述控制模块仅对二级存储单元进行读写操作，同时发送硬盘告警通知；

若所述二级存储单元发生故障，所述控制模块控制对所述硬盘上电，由所述硬盘完成本应当由二级存储单元完成的读写操作，同时发送二级存储单元告警通知。

10、根据权利要求9所述的方法，其特征在于，所述的方法进一步包括故障恢复的步骤：

控制模块周期性判断发生故障的所述二级存储单元或者所述硬盘是否存在，如果存在，则进一步判断该所述二级存储单元或者所述硬盘是否已经修复，

如果发生故障的是硬盘并且已经修复，则在二级存储单元存储的数据总量达到规定的阈值时，将所述二级存储单元中存储的数据导入硬盘；

如果发生故障的是二级存储单元并且已经修复，则初始化被修复的二级存储单元，初始化完成后，所述控制模块在一个对所述硬盘的读写操作完成后，将下一个读写操作转由所述二级存储单元进行，然后对硬盘进行下电操作。