CN102929790A - 一种数据存储系统和方法 - Google Patents

Abstract

本发明实施例提供一种数据存储系统，所述系统包括：管理模块，用于对所述系统中其余各模块进行管理和控制；数据采集模块，用于采集数据，并将采集到的数据发送至预存储模块进行预存储；预存储模块，用于对数据进行预存储，在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；数据存储模块，用于存储预存储模块写入的数据；所述方法包括：采集数据，并根据管理模块的指令对数据进行预存储；当预存储的数据容量达到一个物理页的容量时，根据管理模块的指令将预存储的数据写入到物理页中进行存储。

Description

一种数据存储系统和方法

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据存储系统和方法。

背景技术

NandFlash内存是flash内存的一种，NandFlash内存的内部采用非线性宏单元模式，为固态大容量内存的实现提供了廉价有效的解决方案。NandFlash存储器具有容量较大，改写速度快等优点，适用于大量数据的存储，因而在业界得到了越来越广泛的应用。

在工业上，一般都采用NandFlash作为大容量数据存储介质。NandFlash的结构能够提供极高的单元密度，并且NandFlash的读写性能也能够满足使用的需求。

不过，NandFlash的读写特点是，只能够按物理页进行读写，无法按字节进行读写。一般而言NandFlash一个物理页的容量为4kb。所以针对NandFlash的上述特点，在写入操作时一般有以下两种方案：

方案一、按照周期性接收数据，每个运行周期均将数据写入NandFlash中，如果该周期需写入的数据未满一个物理页大小，则使用缺省数据补齐未满的部分，从而补满一个物理页的容量。

方案二、接收数据后，首先将接收到的数据缓存；直到缓存的数据容量相当于一个物理页的时候，则将缓存的数据写入到物理页中。

上述两个方案虽然都能够适应NandFlash按照物理页读写的特点，但是各自都存在明显的缺陷。

方案一虽然尽可能的保证了数据的完整性，但是其存在的缺陷是，用缺省数据来添补不足的空间，就必然会存在大量的无效数据，降低了存储介质的利用效率，浪费存储空间。

方案二中虽然不添加无效数据，不影响存储介质的利用效率，但是利用缓存在一定时间内存储数据存在一定的安全风险。如果出现突然断电的情况，缓存中的数据就会丢失，不能满足高安全级别的使用需求。

发明内容

有鉴于此，本发明的目的在于提供一种数据存储系统和方法，实现在保证数据的完整性和安全性的前提下，同时提高存储介质的利用效率。

为实现上述目的，本发明有如下技术方案：

一种数据存储系统，所述系统包括：

管理模块，用于对所述系统中其余各模块进行管理和控制；

数据采集模块，用于采集数据，并将采集到的数据发送至预存储模块进行预存储；

预存储模块，用于对数据进行预存储，在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；

数据存储模块，用于存储预存储模块写入的数据。

所述数据采集模块包括：

周期单元，用于设定并保存接收数据周期；

接收单元，用于根据接收数据周期接收数据，所述接收单元包括RS485接收端口、RS422接收端口、CAN接收端口和\或以太网接收端口；

发送单元，用于将接收到的数据发送至预存储模块。

所述管理模块包括：

指令单元，用于向所述系统中其他各模块发出指令；

目标单元，为采集到的数据指定一个在数据存储模块中的存储目标文件；

则所述数据存储单元包括多个存储目标文件。

所述预存储模块包括：

预存储区单元，用于对数据进行预存储；

预存储管理单元，用于记录当前预存储数据在数据存储模块中指定的存储目标文件的位置信息；

写入单元，用于在预存储的数据容量达到一个物理页的容量时，根据该数据在数据存储模块中指定的存储目标文件的位置信息，将该数据写入到指定的存储目标文件下的物理页中。

所述管理模块还包括：

掉电保护单元，用于在系统断电后再重新供电运行时，以当前预存储的数据被指定的存储目标文件作为第一存储目标文件，并获取数据存储模块中最后进行读写的一个存储目标文件作为第二存储目标文件，对第一存储目标文件和第二存储目标文件进行校验，当校验成功则令写入单元将该数据写入对应的存储目标文件下的物理页中；当校验失败则认为该数据为失效数据；

则所述预存储模块还包括失效保护单元，用于保存失效数据。

所述系统还包括：

电源模块，用于为系统提供电能；

和\或转储模块，用于对数据存储模块存储的数据进行转储。

一种数据存储方法，所述方法包括以下步骤：

采集数据，并根据管理模块的指令对数据进行预存储；

当预存储的数据容量达到一个物理页的容量时，根据管理模块的指令将预存储的数据写入到物理页中进行存储。

所述采集数据具体为：

根据预先设定的周期对数据进行采集。

将预存储的数据写入到物理页中进行存储具体为：

管理模块预先为采集到的数据指定一个存储目标文件；

管理模块指令将预存储的数据写入到指定的存储目标文件下的物理页中。

所述方法还包括：

预存储为数据指定的存储目标文件的位置信息和CRC校验值；

在系统断电后再重新供电运行时，管理模块对指定的存储目标文件、预存储的存储目标文件的位置信息、及预存储的CRC校验值进行校验；

当校验成功则指令将预存储的数据写入到指定的存储目标文件下的物理页中；

当校验失败则认为该数据为失效数据；将失效数据独立保存。

通过以上技术方案可知，本发明存在的有益效果是：利用预存储模块对数据进行预存储，并在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；由此避免了利用缺省数据填补物理页，提高了数据存储模块的利用效率，同时保证了数据的完整性；并且实现了系统重新供电之后的数据恢复功能，保障了数据的完整性和安全性，使得所述系统的数据存储不受到突然断电等意外情况的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述数据存储系统结构示意图；

图2为本发明另一实施例所述数据存储系统结构示意图；

图3为本发明又一实施例所述数据存储系统结构示意图；

图4为本发明实施例所述数据存储方法流程图；

图5为本发明另一实施例所述数据存储方法流程图；

图6为图5所示数据存储方法中包含的数据恢复方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明所述数据存储系统的一个具体实施例。针对类似NandFlash等存储介质只能够按照物理页进行读写的特点，本实施例所述系统中提出了一种读写机制。本实施例中，所述系统包括：

管理模块，用于对所述系统中其余各模块进行管理和控制；

本实施例中所述管理模块对于所述系统中的其他各模块起到管理的作用，能够对其他模块发出指令，以控制所述系统的工作流程。例如，数据采集模块将采集到的数据发送至预存储模块进行预存储，或预存储模块将预存储的数据写入到数据存储模块的物理页中的动作，均可以是依据管理模块的指令来进行的。

数据采集模块，用于采集数据，并将采集到的数据发送至预存储模块进行预存储；

预存储模块，用于对数据进行预存储，在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；

由于用于最终保存数据的数据存储模块只能够按物理页进行数据的读写操作，不能够按照字节进行读写，所以在本实施例中增加了数据的预存储环节。当数据采集模块接收到数据时，首先由与存储模块将数据进行预存储。预存储模块采用的存储介质可以为铁电存储器（FRAM）。FRAM读写速度理想，并且读写也不受到物理页的限制，适用于暂时的保存数据，但是由于其本身特点的限制，并不能满足大量长时间保存数据的需求；所以其适用于数据的预存储。预存储模块保存数据的最小容量等于一个物理页的大小。当预存储模块中预存储的数据容量等于一个物理页的容量时，则将预存储的数据写入到数据存储模块的一个物理页当中。而不同于传统缓存的是，预存储的数据并不会随着突然断电或者其他的一些特殊情况而消失，所以相对于缓存而言安全性更高。

数据存储模块，用于存储预存储模块写入的数据。

本实施例中数据存储模块的存储介质一般为NandFlash。当预存储模块中保存的数据达到一个物理页的容量，则预存储模块将预存储的数据写入到数据存储模块的物理页中。这样一来即不需要用缺省数据填补物理页的容量，提高了数据存储模块的利用效率；又保证了数据的完整性。

通过对于所述系统的描述可见，本实施例存在的有益效果是，利用预存储模块对数据进行预存储，并在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；由此避免了利用缺省数据填补物理页，提高了数据存储模块的利用效率，同时保证了数据的完整性。

参见图2所示，为本发明所述数据存储系统的另一个具体实施例。本实施例中所述系统同样为了针对NandFlash的读写特点。本实施例中，所述系统具体包括：

管理模块，用于对所述系统中其余各模块进行管理和控制；

本实施例中，所述管理模块同样起到对于所述系统中的其他各模块的管理作用，能够对其他模块发出指令，以控制所述系统的工作流程；具体的，所述管理模块包括：

指令单元，用于向所述系统中其他各模块发出指令；

本实施例中，所有对于其他模块的指令均通过所述指令单元发送，所述指令可以包括：指令采集模块将采集到的数据发送至预存储模块进行预存储；指令预存储模块将预存储的数据写入到数据存储模块的物理页中等等；本实施例中，所述管理模块通过指令单元产生各种指令从而控制其余各模块的工作流程。

目标单元，为采集到的数据指定一个在数据存储模块中的存储目标文件；

本实施例中，当数据采集模块采集到数据的时候，即可以指定该数据将要在数据存储模块中保存的位置，所述保存的位置可类似的理解为文件保存路径。数据存储模块中可包含多个存储目标文件，目标单元为接收到的数据指定其中一个存储目标文件进行保存。

并且，在目标单元为某个数据指定了存储目标文件之后，指令单元指令预存储模块将该数据写入到数据存储模块的物理页中时，需具体的指令将该数据写入到指定的存储目标文件下的物理页中。

数据采集模块，用于采集数据，并将采集到的数据发送至预存储模块进行预存储；

本实施例中，所述数据采集模块包括以下：

周期单元，用于设定并保存接收数据周期；

接收单元，用于根据接收数据周期接收数据，所述接收单元包括RS485接收端口、RS422接收端口、CAN接收端口和\或以太网接收端口；

发送单元，用于将接收到的数据发送至预存储模块。

预存储模块，用于对数据进行预存储，在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；本实施例中预存储模块的存储介质采用FRAM。

具体的，本实施例中，所述预存储模块包括：

预存储区单元，用于对数据进行预存储；

所述预存储区单元为在预存储模块的存储介质中，划分出来的专门用于对数据进行预存储的存储单元。数据采集模块采集到的数据直接发送至预存储区单元进行预存储，或经过压缩、打包处理后，发送至预存储区单元进行预存储。

预存储管理单元，用于记录当前预存储数据在数据存储模块中指定的存储目标文件的位置信息；

由于前述的目标单元已经指定了进行预存储的数据在数据存储模块中的存储目标文件，所以为了预存储的数据在写入数据存储模块中的时候，能够准确的找到该数据被指定的存储目标文件，预存储模块中还需要保存所述的指定的存储目标文件的相关信息。本实施例中所谓的相关信息具体为存储目标文件的位置信息。预存储的数据在写入时，根据该存储目标文件的位置信息即可找到对应的存储目标文件，从而完成数据的写入。

写入单元，用于在预存储的数据容量达到一个物理页的容量时，根据该数据在数据存储模块中指定的存储目标文件的位置信息，将该数据写入到指定的存储目标文件下的物理页中。

数据存储模块，用于存储预存储模块写入的数据。

本实施例中所述数据存储模块的存储介质为NandFlash；所述数据存储模块中包括多个存储目标文件，所有存储目标文件下均可以提供物理页进行数据存储。

另外，本实施例中还包括：

电源模块，用于为系统提供电能。

转储模块，用于对数据存储模块存储的数据进行转储。

本实施例中，所述转储模块与管理模块及数据存储模块并行设置，所以在进行数据转储的过程当中，并不影响数据的存储及预存储的相关过程。

本实施例所述系统，为在图1所示实施例所述的系统的基础之上，进一步优化得到的一个更为具体的系统实施例。本实施例在图1所示实施例的基础之上，进一步实现的有益效果是，本实施例所述系统的内容更加完整，内容公开更加充分。并且本实施例中实现了为采集到的数据指定存储目标文件，并最终将数据写入到所指定的存储目标文件当中；本实施例中还进一步增加了转储功能，实现了在并不影响数据的存储及预存储的情况下完成数据的转储。

参照图3所示为所述数据存储系统的又一个具体的实施例。本实施例中，在图2所示实施例的基础之上进一步增加了系统的掉电保护功能。本实施例所述系统当中，主要部分与图2所示实施例完全一致，以下不作赘述，仅描述相比于图2所示实施例中新增加的部分。

为了防止突然断电等意外情况为导致数据的丢失，本实施例中采用数据预存储的方法还提高数据读写过程的安全性。相应的，当系统在断电又重新恢复供电的时候，预存储的数据还需要继续的写入到数据存储模块当中。为完成上述的技术环节，本实施例中还包括以下：

所述管理模块还包括：

掉电保护单元，用于在系统断电后再重新供电运行时，以当前预存储的数据被指定的存储目标文件作为第一存储目标文件，并获取数据存储模块中最后进行读写的一个存储目标文件作为第二存储目标文件，对第一存储目标文件和第二存储目标文件进行校验，当校验成功则令写入单元将该数据写入对应的存储目标文件下的物理页中；当校验失败则认为该数据为失效数据；

上述校验过程可以详细的解释为，在系统断电后再重新供电运行后，掉电保护单元先获取预存储管理单元中记录的当前预存储数据在数据存储模块中指定的存储目标文件的位置信息，从而根据该位置信息获悉理论上在断电之前进行读写操作的具体是数据存储模块中的哪个存储目标文件，并以此存储目标文件作为第一存储目标文件；掉电保护单元再获取数据存储模块中获取在断电之前，数据存储模块中实际上最后进行读写操作的存储目标文件作为第二存储目标文件。校验第一存储目标文件和第二存储目标文件，也就是判断理论上最后进行读写的存储目标文件与实际是否一致。如果二者是同一个存储目标文件则表示校验成功。如果校验成功则上述指令单元即可发出指令使写入单元继续将预存储的数据写入到相应的存储目标文件当中。如果二者不是同一个存储目标文件，则认为校验失败。如果校验失败则认为当前预存储的数据为失效数据。

相应的，本实施例中所述预存储模块中还额外的划分了一部分的存储空间作为失效保护单元，用于保存失效数据。因为失效数据虽然不能够写入到数据存储模块当中，但是还可以应用于一些统计分析等环节当中，并不应该直接删除。所以在预存储模块当中设置了失效保护单元，专门用于存储失效数据。

另外，对于存储目标文件的校验还可以增加CRC校验的环节。即在预存储管理单元中预先存储一个CRC校验值，并在校验第一存储目标文件和第二存储目标文件的同时在对CRC校验值进行校验。所述的CRC校验过程为公知的技术，在此不做赘述。

本实施例在图2所示实施例的基础之上，进一步实现的有益效果是，本实施例中所述系统实现了系统重新供电之后的数据恢复功能，保障了数据的完整性和安全性，使得所述系统的数据存储不受到突然断电等意外情况的影响。

参照图4所示为本发明所述数据存储方法的一个具体实施例，所述方法包括以下步骤：

步骤401、采集数据，并根据管理模块的指令对数据进行预存储；

步骤402、当预存储的数据容量达到一个物理页的容量时，根据管理模块的指令将预存储的数据写入到物理页中进行存储。

本实施例为所述方法的一个基础实施例，从本质上来讲，本实施例所述方法的技术方案使对应图1所示实施例中所述系统的。所以本实施例存在的有益效果是：利用预存储模块对数据进行预存储，并在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；由此避免了利用缺省数据填补物理页，提高了数据存储模块的利用效率，同时保证了数据的完整性。

参见图5所示，为本发明所述数据存储方法的另一个具体实施例。本实施例中所述方法同样为了针对NandFlash的读写特点；具体包括以下步骤：

步骤501、根据预先设定的周期对数据进行采集；

所述采集数据可以通过RS485接收端口、RS422接收端口、CAN接收端口和\或以太网接收端口等；

步骤502、管理模块预先为采集到的数据指定一个存储目标文件；

本实施例中，当采集到数据的时候，即可以指定该数据将要保存的位置，所述保存的位置可类似的理解为文件保存路径。在为某个数据指定了存储目标文件之后，将该数据写入到物理页中时，需具体的指令将该数据写入到指定的存储目标文件下的物理页中。

步骤503、根据管理模块的指令对数据进行预存储；

步骤504、当预存储的数据容量达到一个物理页的容量时，管理模块指令将预存储的数据写入到指定的存储目标文件下的物理页中。

本实施例中所述方法实质上对应图2所示实施例中所述系统。本实施例存在的有益效果是：本实施例所述系统的内容更加完整，内容公开更加充分。并且本实施例中实现了为采集到的数据指定存储目标文件，并最终将数据写入到所指定的存储目标文件当中。

参照图6所示，为图5所示实施例中数据存储方法中包含的一种数据恢复步骤。具体的包括以下：

步骤601、在系统断电后再重新供电运行时，以当前预存储的数据被指定的存储目标文件作为第一存储目标文件；

步骤602、获取数据存储模块中最后进行读写的一个存储目标文件作为第二存储目标文件；

步骤603、对第一存储目标文件和第二存储目标文件进行校验；

步骤604当校验成功则指令将预存储的数据写入到指定的存储目标文件下的物理页中；

步骤605、当校验失败则认为该数据为失效数据；将失效数据独立保存。

上述校验过程可以详细的解释为，在系统断电后再重新供电运行后，先获取当前预存储数据在数据存储模块中指定的存储目标文件的位置信息，从而根据该位置信息获悉理论上在断电之前进行读写操作的具体是哪个存储目标文件，并以此存储目标文件作为第一存储目标文件；再获取获取在断电之前，实际上最后进行读写操作的存储目标文件作为第二存储目标文件。校验第一存储目标文件和第二存储目标文件，也就是判断理论上最后进行读写的存储目标文件与实际是否一致。如果二者是同一个存储目标文件则表示校验成功。如果校验成功则上述指令单元即可发出指令继续将预存储的数据写入到相应的存储目标文件当中。如果二者不是同一个存储目标文件，则认为校验失败。如果校验失败则认为当前预存储的数据为失效数据。

因为失效数据虽然不能够写入到数据存储模块当中，但是还可以应用于一些统计分析等环节当中，并不应该直接删除。所以将失效数据独立的保存。

另外，对于存储目标文件的校验还可以增加CRC校验的环节。即预先存储一个CRC校验值，并在校验第一存储目标文件和第二存储目标文件的同时在对CRC校验值进行校验。所述的CRC校验过程为公知的技术，在此不做赘述。

所述数据存储方法中包含的数据恢复步骤实现的有益效果是，实现了重新供电之后的数据恢复功能，保障了数据的完整性和安全性，使得所述利用所述方法保存的数据不受到突然断电等意外情况的影响。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据存储系统，其特征在于，所述系统包括：

管理模块，用于对所述系统中其余各模块进行管理和控制；

数据采集模块，用于采集数据，并将采集到的数据发送至预存储模块进行预存储；

预存储模块，用于对数据进行预存储，在预存储的数据容量达到一个物理页的容量时，将预存储的数据写入到数据存储模块的物理页中；

数据存储模块，用于存储预存储模块写入的数据。

2.根据权利要求1所述系统，其特征在于，所述数据采集模块包括：

周期单元，用于设定并保存接收数据周期；

接收单元，用于根据接收数据周期接收数据，所述接收单元包括RS485接收端口、RS422接收端口、CAN接收端口和\或以太网接收端口；

发送单元，用于将接收到的数据发送至预存储模块。

3.根据权利要求1所述系统，其特征在于，所述管理模块包括：

指令单元，用于向所述系统中其他各模块发出指令；

目标单元，为采集到的数据指定一个在数据存储模块中的存储目标文件；

则所述数据存储单元包括多个存储目标文件。

4.根据权利要求3所述系统，其特征在于，所述预存储模块包括：

预存储区单元，用于对数据进行预存储；

预存储管理单元，用于记录当前预存储数据在数据存储模块中指定的存储目标文件的位置信息；

写入单元，用于在预存储的数据容量达到一个物理页的容量时，根据该数据在数据存储模块中指定的存储目标文件的位置信息，将该数据写入到指定的存储目标文件下的物理页中。

5.根据权利要求4所述系统，其特征在于，所述管理模块还包括：

掉电保护单元，用于在系统断电后再重新供电运行时，以当前预存储的数据被指定的存储目标文件作为第一存储目标文件，并获取数据存储模块中最后进行读写的一个存储目标文件作为第二存储目标文件，对第一存储目标文件和第二存储目标文件进行校验，当校验成功则令写入单元将该数据写入对应的存储目标文件下的物理页中；当校验失败则认为该数据为失效数据；

则所述预存储模块还包括失效保护单元，用于保存失效数据。

6.根据权利要求1-5任意一项所述系统，其特征在于，所述系统还包括：

电源模块，用于为系统提供电能；

和\或转储模块，用于对数据存储模块存储的数据进行转储。

7.一种数据存储方法，其特征在于，所述方法包括以下步骤：

采集数据，并根据管理模块的指令对数据进行预存储；

当预存储的数据容量达到一个物理页的容量时，根据管理模块的指令将预存储的数据写入到物理页中进行存储。

8.根据权利要求7所述方法，其特征在于，所述采集数据具体为：

根据预先设定的周期对数据进行采集。

9.根据权利要求7所述方法，其特征在于，将预存储的数据写入到物理页中进行存储具体为：

管理模块预先为采集到的数据指定一个存储目标文件；

管理模块指令将预存储的数据写入到指定的存储目标文件下的物理页中。

10.根据权利要求9所述方法，其特征在于，所述方法还包括：

预存储为数据指定的存储目标文件的位置信息和CRC校验值；

在系统断电后再重新供电运行时，管理模块对指定的存储目标文件、预存储的存储目标文件的位置信息、及预存储的CRC校验值进行校验；

当校验成功则指令将预存储的数据写入到指定的存储目标文件下的物理页中；

当校验失败则认为该数据为失效数据；将失效数据独立保存。

Images