CN101916211B - 一种基于反馈的动态分级数据存储设备可靠性保证方法 - Google Patents

Abstract

本发明涉及外部环境状态和内部数据存储状态动态变化的条件下基于反馈的动态分级数据存储可靠性保证方法。本发明的技术方案是对外部环境状态和内部数据存储状态进行实时监控，并将监控结果反馈至输入控制模块，输入控制模块根据监控结果和预先设定的各类输入数据的可靠性要求维护一个动态变化存储方式映射表，动态调整各类数据的存储方式。由于使用了分级处理的方式，可在很大程度上降低数据存储的成本。

Description

一种基于反馈的动态分级数据存储设备可靠性保证方法

技术领域

本发明涉及高可靠信息存储机制，尤其是外部环境状态和内部数据存储状态动态变化的条件下基于反馈的动态分级数据存储可靠性保证方法。

背景技术

数据存储设备是计算机等电子设备的核心部件，它存储实现设备功能的程序和各类用户数据，其可靠性直接关系到整个电子设备的可靠性。

随着电子信息技术的不断发展，磁盘等数据存储设备的器件密度不断增大，工作电压持续降低，导致这些数据存储设备对温度、辐射等敏感性不断提高。虽然数据存储设备的生产工艺也在不断发展，但其可靠性提高有限。

随着各种嵌入式电子设备的飞速发展，数据存储设备的应用范围日益扩大，各种车载、机载乃至星载的数据存储设备不断出现。这些数据存储设备往往要工作在充满冲击、噪声、超高/低温等不利因素的恶劣环境中，尤其是星载数据存储设备，其工作环境更是充满了总辐射剂量单粒子翻转等辐射效应。恶劣的工作环境对数据存储设备的可靠性提出了更高的要求。

即使设备工作在良好的环境条件下，当存储容量到达PB级别时系统中的存储节点将成千上万，即使将数据存储在经过专业认证的数据中心中，对每一位(bit)数据来说，也有丢失损坏的可能，特别是诸如电子邮件等一些存储时间未知的数据，而且使用这样的数据中心存储数据往往代价高昂。

目前使用的提高数据存储设备可靠性的方法主要可分为两类：一类着眼于存储设备本身，例如器件筛选、整体隔离等；一类着眼于数据的存储方式，如三模冗余(TMR)、RAID阵列、定期刷新、校验码等。

但是上述方法都存在相当的缺陷，或不能提供满足应用要求的数据存储可靠性，或难以投入实际应用：如器件筛选是一种基于概率的方法，其有效性取决于同批次的器件具有相似的可靠性这一实际上并不确定的假设；整体隔离技术，受限于某些嵌入式设备体积和重量的制约，对超高\低温度和辐射效应的隔离效果有限；外延CMOS工艺等对辐射效应，尤其是单粒子翻转的抗性有限；三模冗余设计实现复杂，而且受限于器件资源和功耗，难以应用于整个数据存储设备；校验码会在不同程度上影响数据存储设备的读写速度，不适应于具有强实时性要求的业务，并且检错/纠错能力有限。尤其需要注意的是，上述方法存在两个共同的缺陷，一是或只注重于对设备本身恶劣环境的隔离和耐受，或只关心提高数据存储方式的可靠性，而没有综合考虑环境状况和数据存储方式能否满足其可靠性要求，即缺乏对环境状态及数据存储状态的动态反馈；二是数据的存储方式一旦选定则无法更改，且所有的数据采用相同的存储方式，缺乏对不同可靠性需求数据的区分服务。

为保证数据存储设备在各类环境条件下的可靠性，满足各类数据存储的可靠性要求，需要一种新的可靠性保证方法，用以保证存储设备在动态变化的环境条件下的可靠性，并且其性能可以满足各类电子设备的需求。

发明内容

本发明要解决的技术问题是克服现有的可靠性保证方法存在的成本过高、实现困难和缺乏在不同环境状态下对不同可靠性要求的动态适应机制等问题，提供一种基于反馈的动态分级数据存储设备可靠性保证方法。

本发明的技术方案是对外部环境状态(如温度高低、辐射强度等)和内部数据存储状态(如物理存储器温度、存储空间使用率、检测出的错误率等)进行实时监控，并将监控结果反馈至输入控制模块，输入控制模块根据监控结果和预先设定的各类输入数据的可靠性要求维护一个动态变化存储方式映射表，动态调整各类数据的存储方式，基于该方法设计输入控制模块，该输入控制模块接收环境状态和数据存储状态的反馈信息，完成存储方式映射表的动态维护，达到在不同环境状态下区分对待各类数据，按照相应的级别满足其可靠性要求的目的。由于不涉及存储设备本身的可靠性，本发明所述可靠性保证方法属于基于数据存储方式的可靠性保证方法。

本发明所述的输入控制模块由数据接收、外部环境状态获取、数据存储状态获取、可靠性要求配置表、存储方式计算、存储方式维护、数据特征匹配、输入缓冲区、存储控制子模块组成，协同工作完成对各类数据的存储。

(1)、数据接收子模块从输入端口接收数据，在将原始数据送至输入缓冲区的同时，提取输入数据的类型、大小等数据特征信息送至数据特征匹配子模块和存储方式计算子模块；

(2)、数据特征匹配子模块从数据接收子模块获取数据特征信息，从外部环境获取子模块获取环境信息，从数据存储状态获取子模块获取当前的存储状态，从存储方式映射表获取各类数据的存储方式，判定当前输入数据的存储方式，并将判定结果送至存储控制子模块；

(3)、存储控制子模块从数据特征匹配子模块获取当前数据的存储方式，从输入缓冲区获取原始数据，完成可能需要的校验码生成、数据分组等操作，最终将数据按照存储方式送至存储器完成存储；

(4)、外部环境状态获取子模块获取温度、辐射强度等外部环境信息，送至存储方式计算子模块和数据特征匹配子模块；

(5)、可靠性要求配置表子模块向存储方式计算子模块提供各类数据的不同可靠性要求参数，包括存储时间、可靠性概率(即以多大的概率保证数据的可靠性)等；

(6)、数据存储状态获取子模块获取各存储器的剩余空间、当前数据的错误率等信息，送至存储方式计算子模块和特征匹配子模块；

(7)、存储方式计算子模块根据外部环境状态、数据存储状态、可靠性要求参数计算数据的存储方式，并将计算结果送至存储方式维护子模块；

(8)、存储方式维护子模块对比从存储方式计算子模块获取的计算结果和存储方式映射表，判定是否需要对存储方式映射表进行修改，如需要，同时向存储方式映射表和存储控制子模块发送实际存储方式。

数据接收子模块完成数据接收、特征信息提取的功能。数据接收是指以线速将输入端口输入的数据送至输入缓冲区；所提取的特征信息包括当前数据的类型、大小、预计存储时间。数据特征信息形成后向特征匹配子模块发送特征匹配请求。

数据特征匹配子模块完成对数据存储方式的判定，它使用特征寄存器和状态寄存器完成判定。特征寄存器表示从数据接收子模块获取的数据大小、类型、预计存储时间；状态寄存器表示从外部环境获取子模块获取的温度、辐射强度等环境信息和从数据存储状态获取子模块获取的存储器使用比例、数据错误率等信息。若没有从存储方式维护子模块到底的更新或增加信息，则将两个寄存器数据与存储方式映射表中对应项进行比较，获取数据的存储方式；若有从存储方式维护子模块到底的更新或增加信息，则将两个寄存器数据与更新信息中的对应项进行比较，获取数据的存储方式。本发明使用FPGA实现数据特征匹配子模块，并使用FPGA的内部RAM实现存储方式映射表，以加快查表速度，保证设备性能。

存储控制子模块以从数据特征匹配子模块获取的存储方式将数据送至物理存储器。根据存储方式，存储控制子模块可能对原始数据进行如下操作：编制不同类型的校验码；完成数据的N重副本；数据分组以送至不同的物理存储器等。通过不同的存储方式，区别对待可靠性要求不同的各类数据以达到较高的效益比。

外部环境状态获取子模块和数据存储状态获取子模块分别完成对外/内部环境的状态获取，并将获取的状态信息反馈给存储方式计算子模块和数据特征匹配子模块。

存储方式计算子模块实现数据分级动态可靠性保证的关键。它基于外部环境状态、数据存储状态和不同类型数据的可靠性要求参数完成存储方式计算。具体的计算包括：特定外部环境状态每个物理存储器的可靠性；存储器空间使用率对其可靠性的影响；各类校验码对数据可靠性的影响；N副本对数据可靠性的提高等。当有新的数据存储任务到达时，该模块被激活，并将得出的符合数据可靠性要求的存储方式送至存储方式维护子模块。

存储方式维护子模块对比从存储方式计算子模块得到存储方式和当前存储方式映射表，当存储方式映射表中记录的存储方式不能达到可靠性要求时，根据从存储方式计算子模块得到存储方式更新存储方式映射表对应条目；当出现当前存储方式映射表没有的数据特征或者环境、存储状态时，根据从存储方式计算子模块得到存储方式为存储方式映射表增加新条目。

采用本发明所述可靠性保证方法进行数据存储的具体步骤如下：

1.输入控制模块初始化：完成对可靠性要求配置表、存储方式映射表的初始化；检测各子模块的工作状态、各子模块间通信链路的连通性和各物理存储器的有效性；

2.每一项数据存储任务到达后，进行如下操作：

a)数据接收子模块从输入端口接收数据后，将原始数据送至输入缓冲区，同时提取数据的大小、类型等特征信息；

b)数据特征匹配子模块根据数据特征信息、外部环境信息、当前的存储状态，从存储方式映射表中检索当前类型数据的存储方式并通知存储控制子模块；

c)存储控制子模块控制当前数据的存储方式，从输入缓冲区获取原始数据，完成校验码生成、数据条带化的操作，最终将数据按照存储方式送至存储器完成存储；

3.在每一项数据存储任务到达时，在进行2的同时进行如下操作：

a)外部环境获取子模块获取当前外部环境信息，数据存储状态获取子模块获取当前数据存储状态，然后将这些信息送达存储方式计算子模块；

b)存储方式计算子模块根据从数据接收子模块获取的该项任务存储的数据特征查可靠性要求配置表，获取相应的可靠性要求参数；

c)存储方式计算子模块根据环境信息、数据存储状态和可靠性要求参数计算当前条件下该类型数据的存储方式并送至存储方式维护子模块；

d)存储方式维护子模块根据存储方式计算子模块的计算结果与当前存储方式映射表对比，更新映射表的相应条目或为映射表增加新条目，并向存储控制子模块发送更新或增加信息。

采用本发明可达到如下有益技术效果：

1、使用外部环境状态获取子模块获取外部温度、辐射强度等信息，并将这些信息反馈给存储方式计算子模块和特征匹配子模块实现针对外部环境状态的动态自适应可靠性保证；

2、使用存储状态获取子模块获取物理存储器温度、空间使用率、数据错误率等信息，并将这些信息反馈给存储方式计算子模块和特征匹配子模块实现针对内部数据存储状态的动态自适应可靠性保证；

3、在可靠性要求配置表中为不同类型的数据设置不同的可靠性要求参数，实现对各类数据的区分处理，例如对可靠性要求高且要求较高读取速率的实时应用数据使用TMR方式存储，对可靠性要求较高但对读取速率无过多要求的存档数据采用校验码方式存储。由于使用了分级处理的方式，可在很大程度上降低数据存储的成本；

4、使用存储方式计算子模块和存储方式维护子模块协同工作，实时维护不同内外部条件下各类数据的存储方式，实现存储方式(可靠性保证方式)的对内外部环境的动态自适应，实现各类应用对数据存储的可靠性要求。例如当外部辐射强度在太阳风等因素的影响下急剧增强，经存储方式计算子模块计算发现，原有的校验码不能保证数据类型要求的可靠性，就会通知存储方式维护子模块更新该类数据对应的存储方式映射表条目，采用更高可靠性的校验码或者使用镜像存储等模式，以保证数据的正确、可靠。

附图说明

图1是数据存储设备结构框图；

图2是本发明输入控制模块逻辑结构图；

图3是本发明输入控制模块的工作流程。

具体实施方式

图1是数据存储设备结构框图，它由输入\输出端口、输入控制模块、输出控制模块构成，完成内\外部状态监测反馈、存储方式计算、存储控制、正确性验证和聚合输入等功能，保证不同类型数据的可靠存储。

图2是本发明输入控制模块逻辑结构图。输入控制模块由数据接收、外部环境状态获取、数据存储状态获取、可靠性要求配置表、存储方式计算、存储方式维护、数据特征匹配、输入缓冲区、存储控制子模块组成。数据接收子模块从输入端口接收数据，在将原始数据送至输入缓冲区的同时，提取输入数据的类型、大小等数据特征信息送至数据特征匹配子模块和存储方式计算子模块；数据特征匹配子模块从数据接收子模块获取数据特征信息，从外部环境获取子模块获取环境信息，从数据存储状态获取子模块获取当前的存储状态，从存储方式映射表获取各类数据的存储方式，判定当前输入数据的存储方式，并将判定结果送至数据存储控制子模块；存储控制子模块从数据特征匹配子模块获取当前数据的存储方式，从输入缓冲区获取原始数据，完成可能需要的校验码生成、数据分组等操作，最终将数据按照存储方式送至存储器完成存储；外部环境状态获取子模块获取温度、辐射强度等外部环境信息，送至存储方式计算子模块和特征匹配子模块；可靠性要求配置表向存储方式计算子模块提供各类数据的不同可靠性要求参数；数据存储状态获取子模块获取各存储器的剩余空间、当前数据的错误率等信息，送至存储方式计算子模块和特征匹配子模块；存储方式计算子模块根据外部环境状态、数据存储状态、可靠性要求参数计算数据的存储方式，并将计算结果送至存储方式维护子模块；存储方式维护子模块对比从存储方式计算子模块获取的计算结果和存储方式映射表，判定是否需要对存储方式映射表进行修改，如需要，同时向存储方式映射表和存储控制子模块发送实际存储方式。

图3是本发明输入控制模块的工作流程。工作过程如下：

1、数据接收子模块从输入端口接收数据后，将原始数据送至输入缓冲区，同时提取数据的大小、类型的特征信息；

2、数据特征匹配子模块根据数据特征信息、外部环境信息、当前的存储状态，从存储方式映射表中检索当前类型数据的存储方式并通知存储控制子模块；

3、存储控制子模块控制当前数据的存储方式，从输入缓冲区获取原始数据，完成可能需要的校验码生成、数据条带化等操作，最终将数据按照存储方式送至存储器完成存储；

在1-3进行的同时进行如下操作：

4、外部环境获取子模块获取当前外部环境信息，数据存储状态获取子模块获取当前数据存储状态，然后将这些信息送达存储方式计算子模块；

5、存储方式计算子模块根据从数据接收子模块获取的该项任务存储的数据特征查可靠性要求配置表获取相应的可靠性要求参数；

6、存储方式计算子模块根据环境信息、数据存储状态和可靠性要求参数计算当前条件下该类型数据的存储方式并送至存储方式维护子模块；

7、存储方式维护子模块根据存储方式计算子模块的计算结果与当前存储方式映射表对比，在需要的情况下更新映射表的相应条目或为映射表增加新条目并向存储控制子模块发送进行了更新或增加的存储方式信息。

Claims (2)

1.一种基于反馈的动态分级数据存储设备可靠性保证方法，其特征在于，对外部环境状态和内部数据存储状态进行实时监控，并将监控结果反馈至输入控制模块，输入控制模块根据该监控结果和各类输入数据的可靠性要求维护一个动态变化存储方式映射表，动态调整各类数据的存储方式，以预先设定的标准保证各类数据的可靠性；输入控制模块由数据接收、外部环境状态获取、数据存储状态获取、存储方式计算、存储方式维护、数据特征匹配、存储控制子模块以及可靠性要求配置表和输入缓冲区组成，协同工作完成对各类数据的存储，接收环境状态和数据存储状态的反馈信息，完成存储方式映射表的动态维护，达到在不同环境状态下区分对待各类数据，按照相应的级别满足其可靠性要求的目的，该方法包括步骤：

(1)每一项数据存储任务到达后，进行如下操作：

a)、数据接收子模块从输入端口接收数据后，将原始数据送至输入缓冲区，同时提取数据的大小、类型的特征信息；

b)、数据特征匹配子模块根据数据特征信息、外部环境信息、当前的存储状态，从存储方式映射表中检索当前类型数据的存储方式并通知存储控制子模块；

c)、存储控制子模块控制当前数据的存储方式，从输入缓冲区获取原始数据，完成可校验码生成、数据条带化的操作，最终将数据按照检索出的所述存储方式送至存储器完成存储；

(2)在每一项数据存储任务到达时，在进行步骤(1)的同时进行如下操作：

a)、外部环境获取子模块获取当前外部环境信息，数据存储状态获取子模块获取当前数据存储状态，然后将这些信息送达存储方式计算子模块；

b)、存储方式计算子模块根据从数据接收子模块获取的该项数据存储任务中数据的数据特征查可靠性要求配置表，获取相应的可靠性要求参数；

c)、存储方式计算子模块根据环境信息、数据存储状态和可靠性要求参数计算当前条件下当前类型数据的存储方式并送至存储方式维护子模块；

d)、存储方式维护子模块根据存储方式计算子模块的计算结果与当前存储方式映射表对比，更新映射表的相应条目，并向存储控制子模块发送进行了更新的存储方式信息。

2.根据权利要求1所述的一种基于反馈的动态分级数据存储设备可靠性保证方法，其特征在于，步骤(1)之前还执行输入控制模块初始化的步骤，用来完成对可靠性要求配置表、存储方式映射表的初始化，检测各个子模块的工作状态、各子模块间通信链路的连通性和各物理存储器的有效性。

Images