CN110764695A - 一种基于高速采集的存储方法和系统 - Google Patents

Abstract

本发明公开了一种基于高速采集的存储方法和系统，所述高速采集的存储方法包括以下步骤：将存储盘划分成文件系统空间和数据存储空间两个区域；所述文件系统空间由文件索引、文件信息、文件索引备份和文件信息备份组成；所述文件索引备份空间内的数据是文件索引空间内的所有数据备份；所述文件信息备份空间内的数据是文件信息空间内的所有数据备份；采集数据流，形成数据文件；对形成的所述数据文件执行循环存储操作。本发明提至少提高了8倍的SSD硬盘存储速度，在没有数据冗余的前提下，实现了数据保护功能；同时还实现了数据文件循环存储的功能。

Description

一种基于高速采集的存储方法和系统

技术领域

本发明涉及存储相关技术领域，具体涉及一种基于高速采集的存储方法和系统。

背景技术

高速采集的储存系统，目前基本都是通过独立冗余硬盘阵列实现的，独立冗余硬盘阵列当中的RAID0级别的硬盘阵列能够充分利用总线的带宽和存储空间，提高存储速度的同时还成倍的扩充了存储空间，具有非常高的性价比，但RAID0级别的硬盘阵列并不是真正的RAID结构，没有数据冗余，没有数据校验，只要有任何一块硬盘损坏就会丢失所有数据，因此这一级别的存储系统无法应用在需要数据高可用性的关键领域。为此我们提出一种基于高速采集的存储方法和系统以解决上述问题。

发明内容

针对上述现有技术存在的问题，本发明提供了一种基于高速采集的存储方法和系统，至少提高了8倍的SSD硬盘存储速度，在没有数据冗余的前提下，实现了数据保护功能；同时还实现了数据文件循环存储的功能；对删除后的数据实现恢复。

为了实现上述目的，本发明采用的一种基于高速采集的存储方法，所述高速采集的存储方法包括以下步骤：

将存储盘划分成文件系统空间和数据存储空间两个区域；所述文件系统空间由文件索引、文件信息；所述数据存储空间由块0、块1......块n组成，且块的存储空间大小相同；

所述文件索引空间内由文件1索引、文件2索引......文件n索引组成；

所述文件信息空间内由文件1信息、文件2信息......文件n信息组成；

采集数据流，形成数据文件；

对形成的所述数据文件执行循环存储操作。

在上述方案中，高速采集的存储方法在存储盘中划分了文件系统空间和数据存储空间两个区域，其中文件系统空间存储了数据文件的文件信息，使得通过文件信息能够快速找到数据文件存储在数据存储空间的地址，同时文件信息及文件索引信息分别独立存放在8个SSD硬盘中，若其中一个硬盘损坏，依然可以实现数据的读取。作为上述方案的进一步优化，所述存储方法包括执行数据文件的创建/写入、数据文件索引的写入。

在上述方案中，数据文件的存储就是文件信息的创建和数据文件写入的过程；数据文件索引的写入是为了给数据文件添加编号和有效标识符；作为上述方案的进一步优化，所述执行数据文件的创建包括：所述文件信息空间写入数据文件的文件信息；所述数据文件的文件信息由文件名称、创建时间、块长度、第1块空间内的起始地址......第n块空间内的起始地址、第1块内的ID信息......第n块内的ID信息；

所述数据文件的写入所述存储盘操作包括：选中数据存储空间内的一块空间，该块空间为最近一次使用的块空间，若是第一次使用则选中块0空间，根据块空间的剩余存储空间确定该块空间是否已经存储已满；若否，直接将形成的数据文件写入到该块空间中；若是，选择比该块空间序号大一位的块空间作为存储的块空间，将形成的数据文件写入到该块空间中，并更新文件信息空间内的相应内容；

所述数据文件索引的创建包括：所述文件索引空间写入数据文件的文件索引信息；所述文件索引信息由文件有效标识符、文件编号组成和文件索引的备份路径信息；

在上述方案中，包括了数据文件的创建过程，数据文件的写入过程，数据文件索引的创建过程，数据文件信息和数据文件索引备份的写入过程，形成了完整的数据存储方法，方便在存储后的读取过程。

作为上述方案的进一步优化，所述数据文件的删除包括：仅将所述数据文件的文件索引中的文件有效标识符进行失效。

在上述方案中，数据文件的删除仅需吧数据文件索引中的有效标识符失效，数据文件本身并没有删除，新存储的数据文件会将原数据文件覆盖，当原数据文件未被新数据文件覆盖前是可以恢复的；简化了删除的过程，同时也能够实现恢复还未被覆盖的被删除的数据文件。

作为上述方案的进一步优化，所述存储盘采用SSD存储阵列，实现至少3.2GByte/s的稳定读写速度，所述SSD存储阵列采用至少8块SSD硬盘构成的独立硬盘阵列的方式；所述存储系统由存储空间划分模块、数据文件采集模块和执行模块组成。

在上述方案中，存储盘采用SSD存储阵列，运用RAID0的级别，按照SSD硬盘的数量就能够提高数倍于单个SSD硬盘的存储速度，同时不浪费存储空间。

作为上述方案的进一步优化，所述存储空间划分模块，用于将SSD存储阵列划分成包括若干用于存储数据文件的块空间、用于存储文件列表的文件系统空间；所述存储空间划分模块将所述文件系统空间划分成由文件索引空间、文件信息空间、文件索引备份空间和文件信息备份空间组成，其中文件索引空间、文件信息空间和文件索引备份空间和文件信息备份空间不设在同一块SSD硬盘中；所述存储空间划分模块将所述数据存储空间进一步划分成块0、块1......块n组成，其中相邻块空间不存在于同一块SSD硬盘中，且块的存储空间大小相同。

在上述方案中，将SSD存储阵列划分成多个存储区域，同时文件索引空间、文件信息空间和文件索引备份空间和文件信息备份空间不设在同一块SSD硬盘中，当有一块存有文件索引、文件信息的SSD硬盘损坏时，不会丧失所有的数据文件可读性；同时存储空间内划分的块0、块1......块n，且相邻编号的块空间不存在于同一块SSD硬盘中，即使其中一块SSD硬盘损坏，也不会造成整个数据文件的丢失，仅会使数据文件丢失一小段数据，特别对于视频/音频类的数据文件几乎不会降低可用性，提高了存储系统的容灾能力，同时也不会像现有的独立硬盘冗余阵列一样浪费大量的空间来进行备份，以极低的成本实现了几乎相同的安全性。

作为上述方案的进一步优化，所述数据文件采集模块，用于采集数据文件的数据流，形成数据文件。

作为上述方案的进一步优化，所述执行模块，用于分别与所述存储空间划分模块和所述数据文件采集模块连接，用于对形成的数据文件执行存储任务。

作为上述方案的进一步优化，所述执行模块接收上位机发出写入创建时间的请求；

所述执行模块用于接收所述创建时间请求，由所述写入创建时间的请求自动生成第1块空间内的文件名称、块长度和起始地址......第n块空间内的起始地址，并根据获取的第1块空间内的起始地址......第n块空间内的起始地址将数据文件依次写入所述第1块空间内的起始地址......第n块空间内的起始地址；

所述执行模块完成数据文件的创建/写入、数据文件索引的写入、数据文件信息的备份写入和数据文件索引备份的写入；

所述执行模块在块空间存储空间不足时，将所述块空间中创建时间最早的数据文件的文件索引中的文件有效标识符进行失效，并将新的数据文件覆盖掉文件索引中的文件有效标识符失效的数据文件所占有的块空间。

在上述方案中，执行模块根据上位机的请求在数据文件信息中写入相关信息，确保存储的数据文件能够根据文件信息查询到数据文件在存储系统中的存储地址，同时也能够执行文件有效标识符的失效，完成数据文件失效的工作。

作为上述方案的进一步优化，还包括有电容模块，所述电容模块在存储系统突然掉电时，为储存系统提供至少1秒钟的供电时间，用于存储系统将数据文件暂停储存并更新相关文件信息。

在上述方案中，电容模块能够存储电能，并在掉电后迅速释放所存储的电能，保证存储系统有足够电量完成文件暂停储存并更新相关文件信息，确保数据文件和存储系统不会因为突发掉电而造成损坏。

本发明的一种基于高速采集的存储方法和系统，具备如下有益效果：

1.本发明的一种基于高速采集的存储方法，在存储盘中划分了文件系统空间和数据存储空间两个区域，其中文件系统空间存储了数据文件的文件信息，使得通过文件信息能够快速找到数据文件存储在数据存储空间的地址，同时文件信息都留存有备份，在部分文件信息受损的情况下，依然能够实现数据的调取。

2.本发明的一种基于高速采集的存储系统，数据文件的删除仅需吧数据文件索引中的有效标识符失效，数据文件本身并没有删除，新存储的数据文件会将原数据文件覆盖，当原数据文件未被新数据文件覆盖前是可以恢复的；简化了删除的过程，同时也能够实现恢复还未被覆盖的被删除的数据文件。

3.本发明的一种基于高速采集的存储系统，将SSD存储阵列划分成多个存储区域，同时文件索引空间、文件信息空间和文件索引备份空间和文件信息备份空间不设在同一块SSD硬盘中，当有一块存有文件索引、文件信息的SSD硬盘损坏时，不会丧失所有的数据文件可读性；即使其中一块SSD硬盘损坏，也不会造成整个数据文件的丢失，仅会使数据文件丢失一小段数据，特别对于视频/音频类的数据文件几乎不会降低可用性，提高了存储系统的容灾能力，同时也不会像现有的独立硬盘冗余阵列一样浪费大量的空间来进行备份，以极低的成本实现了几乎相同的安全性。

附图说明

图1为本发明的SSD存储阵列的划分示意图；

图2为本发明的文件索引示意图；

图3为本发明的文件信息示意图；

图4为本发明的SSD存储阵列中各个SSD硬盘的空间分配示意图；

图5为本发明的存储未满的存储方法示意图；

图6为本发明的存储已满的存储方法示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

请参阅图1-5，本发明提供一种技术方案：一种基于高速采集的存储方法和系统，利用SSD固态硬盘存储速度快的特性，组建了至少包含8块SSD硬盘的存储阵列，相较于单块SSD硬盘，存储速度至少提高了8倍；存储系统将存储空间划分成文件系统空间和数据存储空间，其中文件系统空间中被细分为文件索引、文件信息、文件索引备份和文件信息备；数据存储空间由块0、块1......块n组成，且块的存储空间大小相同；各个存储空间分别执行以下几个存储工作：

执行数据文件的创建包括：文件信息空间写入数据文件的文件信息；数据文件的文件信息由文件名称、创建时间、块长度、第1块空间内的起始地址......第n块空间内的起始地址、第1块内的ID信息......第n块内的ID信息、文件信息的备份路径信息；

数据文件的写入存储盘操作包括：选中数据存储空间内的一块空间，该块空间为最近一次使用的块空间，若是第一次使用则选中块0空间，根据块空间的剩余存储空间确定该块空间是否已经存储已满；若否，直接将形成的数据文件写入到该块空间中；若是，选择比该块空间序号大一位的块空间作为存储的块空间，将形成的数据文件写入到该块空间中，并更新文件信息空间内的相应内容；

数据文件索引的创建包括：文件索引空间写入数据文件的文件索引信息；文件索引信息由文件有效标识符、文件编号组成和文件索引的备份路径信息；

数据文件信息的备份写入包括：将备份路径添加至数据文件的文件信息中，并确认数据文件的文件信息中除当前备份路径之外的其它备份路径，基于备份路径的添加、更新文件的其它备份文件的文件信息；生成数据文件信息的备份文件，文件信息的备份中添加有原文件的存储路径，并将备份文件添加至备份路径对应的文件信息备份空间中；

数据文件索引备份的写入包括：将备份路径添加至数据文件索引的文件信息中，并确认数据文件索引的信息中除当前备份路径之外的其它备份路径，基于备份路径的添加、更新文件的其它备份文件的文件信息；生成数据文件索引的备份文件，文件索引的备份中添加有原文件的存储路径，并将文件索引备份添加至备份路径对应的文件索引备份空间中；

存储工作包括了数据文件的创建过程，数据文件的写入过程，数据文件索引的创建过程，数据文件信息和数据文件索引备份的写入过程，形成了完整的数据存储方法，方便在存储后的读取过程。

存储系统中删除文件的工作流程：

执行模块在块空间存储空间不足时，将块空间中创建时间最早的数据文件的文件索引中的文件有效标识符进行失效，并将新的数据文件覆盖掉文件索引中的文件有效标识符失效的数据文件所占有的块空间。

实施例一：

本实施例提供一种基于高速采集的存储方法，包括以下几个步骤：

1、将存储盘划分成文件系统空间和数据存储空间两个区域；文件系统空间由文件索引、文件信息、文件索引备份和文件信息备份组成；数据存储空间由块0、块1......块n组成，且块的存储空间大小相同；

文件索引空间内由文件1索引、文件2索引......文件n索引组成；

文件信息空间内由文件1信息、文件2信息......文件n信息组成；

文件索引备份空间内的数据是文件索引空间内的所有数据备份；文件信息备份空间内的数据是文件信息空间内的所有数据备份；

2、利用4K/8K摄像机、高保真录音机等需要高速存储的采集设备采集数据流，形成数据文件；

3、对形成的数据文件执行循环存储操作，包括数据文件的创建/写入、数据文件索引的写入、数据文件信息的备份写入和数据文件索引备份的写入；

31、数据文件的创建是在文件信息空间写入数据文件的文件信息；数据文件的文件信息由文件名称、创建时间、块长度、第1块空间内的起始地址......第n块空间内的起始地址、第1块内的ID信息......第n块内的ID信息、文件信息的备份路径信息组成；

32、数据文件的写入存储盘操作是选中数据存储空间内的一块空间，该块空间为最近一次使用的块空间，若是第一次使用则选中块0空间，根据块空间的剩余存储空间确定该块空间是否已经存储已满；若否，则执行步骤33；若是，则执行步骤34；

33、直接将形成的数据文件写入到该块空间中；下一步为步骤4；

34、选择比该块空间序号大一位的块空间作为存储的块空间，将形成的数据文件写入到该块空间中，并更新文件信息空间内的相应内容；下一步为步骤4；若比该块空间序号大一位的块空间不存在则进入步骤35；

35、选在块0空间作为存储的块空间，存储系统进入到循环存储的过程，将文件索引中块0空间中的创建时间最早的文件有效标识符全部做失效处理，将形成的数据文件覆盖到块0空间中，块0空间不足后，继续将块1空间中的文件有效标识符全部做失效处理，直到将形成的数据文件全部存储完毕；当再次开始存储任务时，将不再经过步骤32、步骤33、步骤34，选中最近一次使用的块空间序号大一位的块空间作为存储的块空间，作为存储块空间，并将此块空间的创建时间最早的文件有效标识符做失效处理，并将形成的数据文件覆盖掉有效标识符失效的数据文件；

4、数据文件索引的创建是在文件索引空间写入数据文件的文件索引信息；文件索引信息由文件有效标识符、文件编号组成和文件索引的备份路径信息；

5、数据文件信息的备份写入是仅将备份路径添加至数据文件的文件信息中，并确认数据文件的文件信息中除当前备份路径之外的其它备份路径，基于备份路径的添加、更新文件的其它备份文件的文件信息；生成数据文件信息的备份文件，文件信息的备份中添加有原文件的存储路径，并将备份文件添加至备份路径对应的文件信息备份空间中；

6、数据文件索引备份的写入包括是将备份路径添加至数据文件索引的文件信息中，并确认数据文件索引的信息中除当前备份路径之外的其它备份路径，基于备份路径的添加、更新文件的其它备份文件的文件信息；生成数据文件索引的备份文件，文件索引的备份中添加有原文件的存储路径，并将文件索引备份添加至备份路径对应的文件索引备份空间中。

在本实施例中，提供了数据文件存储的方法，当存储系统存满后进入的循环存储时，不需要删除原有的数据文件，提高了存储空间的IO利用率，不需要人为干预，就能够自动对最早的数据文件进行失效覆盖，提高了存储系统的存储性能。

实施例二：

本实施例提供一种基于高速采集的存储系统，由存储系统由存储空间划分模块、数据文件采集模块和执行模块组成；其中存储空间采用至少8块SSD硬盘构成，组成独立硬盘阵列。

存储空间划分模块，用于将SSD存储阵列划分成包括若干用于存储数据文件的块空间、用于存储文件列表的文件系统空间；存储空间划分模块将文件系统空间划分成由文件索引空间、文件信息空间、文件索引备份空间和文件信息备份空间组成；存储空间划分模块将数据存储空间进一步划分成块0、块1......块n组成，其中相邻编号块空间不存在于同一块SSD硬盘中，且块的存储空间大小相同。数据文件采集模块，用于采集数据文件的数据流，形成数据文件。执行模块，用于分别与存储空间划分模块和数据文件采集模块连接，用于对形成的数据文件执行存储任务。执行模块接收上位机发出写入创建时间的请求；执行模块用于接收创建时间请求，由写入创建时间的请求自动生成第1块空间内的文件名称、块长度和起始地址、......、第n块空间内的起始地址，并根据获取的第1块空间内的起始地址、......、第n块空间内的起始地址将数据文件依次写入第1块空间内的起始地址、......、第n块空间内的起始地址；执行模块完成数据文件的创建/写入、数据文件索引的写入、数据文件信息的备份写入和数据文件索引备份的写入；执行模块在块空间存储空间不足时，将块空间中创建时间最早的数据文件的文件索引中的文件有效标识符进行失效，并将新的数据文件覆盖掉文件索引中的文件有效标识符失效的数据文件所占有的块空间。

在本实施例中，存储空间划分模块，用于将SSD存储阵列划分成包括若干用于存储数据文件的块空间、用于存储文件列表的文件系统空间，其中块空间用于存储数据文件，文件系统空间用于存储文件信息和文件索引。采集模块是诸如4K/8K摄像机、高保真录音机等需要高速存储的设备，这些采集设备采集的数据流形成数据文件。执行模块根据上位机发出的写入创建时间，自动生成该数据文件的文件信息，且在数据文件写入过程中，按照文件信息内容执行，一旦发生变动，自动对文件信息进行更新，最后生成文件索引。执行模块对最早的数据文件的文件索引中的文件有效标识符进行失效，是对最久远存储的数据文件进行间接删除，在被新的数据文件覆盖前是可恢复的。

实施例三：

本实施例提供存储系统的容灾性能，存储空间划分模块将SSD存储阵列划分成包括若干用于存储数据文件的块空间、用于存储文件列表的文件系统空间；存储空间划分模块将文件系统空间划分成由文件索引空间、文件信息空间、文件索引备份空间和文件信息备份空间组成，其中文件索引空间、文件信息空间和文件索引备份空间和文件信息备份空间不设在同一块SSD硬盘中；存储空间划分模块将数据存储空间进一步划分成块0、块1......块n组成，其中相邻块空间不存在于同一块SSD硬盘中，且块的存储空间大小相同；

在本实施例中，文件索引空间、文件信息空间和文件索引备份空间和文件信息备份空间不设在同一块SSD硬盘中；确保某一块SSD硬盘损坏后，仍能够保存文件索引和文件信息，使得数据文件能够轻易的被读出。

相邻块空间不存在于同一块SSD硬盘中，每一份数据文件都被分割成数个子数据文件，每一个子数据文件都存在唯一文件信息，同时每一个子数据文件也都非常小，读取数据文件时，能够通过文件信息或文件信息备份调出所有该数据文件的子数据文件，这些子数据文件按照ID顺序排列好，而损坏的SSD硬盘上子数据文件全部消失；这种情况下，损坏一个SSD硬盘并不会造成大段的数据文件丢失，对整体的数据文件造成的破坏影响会降到最低，特别是对于视频、音频类的数据文件，丢失几帧的数据甚至不会引起视觉上感官，因此该存储系统具备了容灾能力，相较于采用独立磁盘冗余阵列的容灾能力来说，做到了不浪费存储孔间来备份所有的数据文件，提高了设备的使用寿命，降低了设备的成本，达到了较为理想容灾效果，具有极高的性价比。

仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于高速采集的存储方法，其特征在于：所述高速采集的存储方法包括以下步骤：

将存储盘划分成文件系统空间和数据存储空间两个区域；所述文件系统空间由文件索引、文件信息组成；所述数据存储空间由块0、块1......块n组成，且块的存储空间大小相同；

所述文件索引空间内由文件1索引、文件2索引、......、文件n索引组成；

所述文件信息空间内由文件1信息、文件2信息、......、文件n信息组成；

采集数据流，形成数据文件；

对形成的所述数据文件执行循环存储操作。

2.根据权利要求1所述的一种基于高速采集的存储方法，其特征在于：所述存储方法包括执行数据文件的创建/写入、数据文件索引的写入、数据文件的信息写入。

3.根据权利要求1所述的一种基于高速采集的存储方法，其特征在于：

所述执行数据文件的创建包括：所述文件信息空间写入数据文件的文件信息；所述数据文件的文件信息由文件名称、创建时间、块个数：m、第1块ID信息、……、第m块ID信息、第1块ID内偏移地址、第m块ID内偏移地址组成，该信息复制8份分别写入每个SSD文件系统空间。

所述数据文件的写入所述存储盘操作包括：根据需要存储的数据量大小分配存储块编号，数据写入从分配的第1块开始写入，写入完成后继续写入下一块空间，写到完最后一个块空间后返回再从第1块空间继续写，直到写入的数据流停止，根据停止时写入操作停留在的块空间信息更新文件信息空间内的相应内容。

所述数据文件索引的创建包括：所述文件索引空间写入数据文件的文件索引信息，文件索引信息分别写入8个SSD空间，且每个写入内容含完整的文件索引信息；所述文件索引信息由文件有效标识符、文件编号组成。

4.根据权利要求1所述的一种基于高速采集的存储方法，其特征在于：所述数据文件的删除包括：将所述数据文件的文件索引中的文件有效标识符设置为无效。

5.一种基于高速采集的存储系统，应用于SSD存储阵列，其特征在于：所述存储盘采用SSD存储阵列，所述SSD存储阵列采用至少8块SSD硬盘构成的独立硬盘阵列的方式；所述存储系统由存储空间划分模块、数据文件采集模块和存储写入读出模块组成。

6.根据权利要求5所述的一种基于高速采集的存储系统，其特征在于：所述存储空间划分模块，用于将SSD存储阵列划分成包括若干用于存储数据文件的块空间、用于存储文件列表的文件系统空间；所述存储空间划分模块将所述文件系统空间划分成由文件索引空间、文件信息空间、文件索引备份空间和文件信息备份空间组成，所述存储空间划分模块将所述数据存储空间进一步划分成块0、块1......块n组成，其中每一块分别占用8个SSD硬盘且块的存储空间大小相同。

7.根据权利要求5所述的一种基于高速采集的存储系统，其特征在于：所述数据文件采集模块，用于采集数据文件的数据流，形成数据文件。

8.根据权利要求5所述的一种基于高速采集的存储系统，其特征在于：所述执行模块，用于分别与所述存储空间划分模块和所述数据文件采集模块连接，用于对形成的数据文件执行存储任务。

9.根据权利要求5所述的一种基于高速采集的存储系统，其特征在于：所述执行模块接收上位机发出写入创建时间的请求；

所述执行模块用于接收所述创建时间请求，由所述写入创建时间的请求自动生成第1块空间内的文件名称、块长度和起始地址、......、第n块空间内的起始地址，并根据获取的第1块空间内的起始地址、......、第n块空间内的起始地址将数据文件依次写入所述第1块空间内的起始地址、......、第n块空间内的起始地址，同时为每个写入块内的起始地址编制唯一对应的ID；

所述执行模块完成数据文件的创建/写入、数据文件索引的写入；

所述执行模块在块空间存储空间不足时，将所述块空间中创建时间最早的数据文件的文件索引中的文件有效标识符进行失效，并将新的数据文件覆盖掉文件索引中的文件有效标识符失效的数据文件所占有的块空间。

10.根据权利要求5所述的一种基于高速采集的存储系统，其特征在于：还包括有电容模块，所述电容模块在存储系统突然掉电时，为储存系统提供至少1秒钟的供电时间，用于存储系统将数据文件暂停储存并更新相关文件信息。

Images