CN110532133B

CN110532133B - 一种低功耗大容量可扩充数据存储方法

Info

Publication number: CN110532133B
Application number: CN201910639725.8A
Authority: CN
Inventors: 胡义; 胡柯良; 商朝晖; 马斌; 刘强; 王威
Original assignee: National Astronomical Observatories of CAS
Current assignee: National Astronomical Observatories of CAS
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-12-31
Anticipated expiration: 2039-07-16
Also published as: CN110532133A

Abstract

本发明涉及一种低功耗大容量可扩充数据存储方法。所述方法应用于数据存储系统中，所述数据存储系统包括低功耗工业控制计算机、程序可控电源分配单元和由若干硬盘组成的硬盘阵列。所述数据存储方法包括存储模式和备份模式两种，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，且硬盘阵列根据需要可以增加或减少硬盘数量和大小，从而同时实现存储设备的大容量和低功耗。本发明支持多个产生数据的设备同时提交存储任务，可根据实际功耗限制和容量需求，选用不同的工业控制计算机，定制性强。

Description

一种低功耗大容量可扩充数据存储方法

技术领域

本发明涉及数据存储技术领域，尤其涉及一种低功耗大容量可扩充只写式数据存储方法。

背景技术

在野外艰苦环境，例如高海拔山区，南极内陆等等，运行的无人值守的科学仪器设备，例如望远镜，往往会生成大量的数据，而野外艰苦环境往往都没有高速和可靠的有线和无线网络，因此这些数据无法通过网络传输到存储服务器或者云端，而只能在本地存储。而野外艰苦环境往往电力供应也极为有限，这就需要低功耗大容量的存储设备。目前市面上的商业存储设备根据容量大小，功耗往往都在1000W以上，不能满足在野外环境低功耗大容量的数据存储需求。

发明内容

本发明的目的是针对上述问题及现有技术的不足，提供一种低功耗大容量可扩充数据存储方法，该方法应用于数据存储系统中，该数据存储系统包括低功耗工业控制计算机（以下简称工控机）、程序可控电源分配单元（以下简称PDU）和由若干硬盘组成的硬盘阵列。该方法支持存储模式和备份模式两种。该方法工控机可根据实际可用功率大小、功耗限制和容量需求，选用不同型号的工控机，定制性强。通过自动监控硬盘运行状态，例如，硬盘是否开启、是否损毁、是否已满等，根据用户所选模式，有选择性地开启或关闭磁盘，实现一种低功耗的方式进行数据地写入操作。PDU用于执行来自工控机下发的硬盘操作指令，例如硬盘的开启和关闭操作，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，从而同时实现存储设备的大容量和低功耗。硬盘阵列，用于数据的存储，可根据场景需要增加或减少硬盘数量和大小。

所述存储模式和备份模式的选择包括如下步骤：

1）判断是否存在需要存储的文件，若是，进入步骤1.1），若否，进入步骤3）；

1.1）开启存储模式，将文件写入工控机的缓冲区内，并加入存储文件队列；

2）判断当前可用功率是否超过阈值，若是，进入步骤3），若否，进入步骤2.1）；

2.1）关闭备份模式；

3）开启备份模式，从备份文件队列中获取要备份的文件，将文件写入硬盘，

返回步骤2）；

具体的，所述存储模式下，需要存储的文件通过网络提交给工控机，所述工控机将文件保存在缓冲区，并将文件添加到存储文件队列里，具体的包括如下步骤：

1）从存储文件队列中获取要存储的文件，如果存储文件队列为空，保持等待状态；

2）从硬盘阵列列表中找到健康状态且有足够容量的硬盘；

3）判断硬盘是否开启，如果没有开启进入步骤3.1），如果开启进入步骤4）；

3.1）向PDU发送开启硬盘指令，如果硬盘开启成功，挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；

3.2）如果硬盘开启失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；

4）检查硬盘是否挂载，如果硬盘已经挂载，进入步骤5）；

4.1）挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；

5）将文件写入硬盘；

5.1）如果写入成功，更新文件信息数据库，记录文件存储硬盘，文件MD5校验和文件大小，进入步骤6）；

5.2）如果写入失败，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；

6）更新硬盘阵列列表，修改硬盘容量信息，如果硬盘剩余容量小于设置阈值，关闭硬盘；最后回到步骤1）；

具体的，所述备份模式包括如下步骤：

1）从文件信息数据库中找到所有使用过且没有标记为损坏的硬盘，依次检测硬盘是否能开启和挂载，如果开启或者挂载失败，在文件信息数据库中标记在这块硬盘上的所有文件为损坏，同时在硬盘阵列列表中标记该硬盘损坏；

2）从文件信息数据库中找到所有备份次数小于N次以及由于文件损坏导致备份次数小于N次的文件，加入备份文件队列，其中，N>=2；

3）从备份文件队列中获取要备份的文件，如果备份文件队列为空，保持等待状态；

4）从硬盘阵列列表中找到健康状态、有足够容量且没有存储该文件的硬盘；

5）进入存储模式步骤3）到6），当探测到硬件错误时，回到备份模式步骤3）。

所述工控机根据使用场景需求，选择功耗合适以及能提供足够多与硬盘连接的SATA接口的工控机，满足低功耗和大容量的需求。

所述工控机的缓冲区为SSD或者内存型硬盘。

所述硬盘阵列根据需要增加或减少硬盘数量和大小。

本发明在存储模式时一次只开启一块硬盘，在可用功率和功耗限制允许时，例如存储模式设备不在使用或者白天太阳能充足时，同时进入备份模式，在备份模式时最多开启三块硬盘。相比于类似RAID0的同时开启多块硬盘，在存储数据时同时将数据存放于多块硬盘，本发明只有在备份模式下才会开启多块硬盘，在提高数据安全性的前提下，降低了硬盘开启时间，更能降低总的功耗。

本发明支持多个产生数据的设备同时提交存储任务，可根据实际功耗限制和容量需求，选用不同的工业控制计算机，定制性强。

附图说明

图1为本发明一个实施例中一种低功耗大容量可扩充数据存储方法存储模式的流程图；

图2为本发明一个实施例中一种低功耗大容量可扩充数据存储方法备份模式的流程图；

图3为本发明一个实施例中一种低功耗大容量可扩充数据存储方法模式选择流程图。

具体实施方式

下面结合具体的实施例及附图对低功耗大容量可扩充数据存储方法的技术方案进行详细的描述，以使其更加清楚。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一示例性实施例提供了一种低功耗大容量可扩充数据存储方法，该方法应用于数据存储系统中，该数据存储系统包括工控机、PDU和由若干硬盘组成的硬盘阵列。该方法支持存储模式和备份模式两种。该方法工控机可根据实际可用功率大小、功耗限制和容量需求，选用不同型号的工控机，定制性强。通过自动监控硬盘运行状态，例如，硬盘是否开启、是否损毁、是否已满等，根据用户所选模式，有选择性地开启或关闭磁盘，实现一种低功耗的方式进行数据地写入操作。PDU用于执行来自工控机下发的硬盘操作指令，例如硬盘的开启和关闭操作，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，从而同时实现存储设备的大容量和低功耗。硬盘阵列，用于数据的存储，可根据场景需要增加或减少硬盘数量和大小。

在一个在实施中，采用磐仪FPC-7502工控机，工控机安装Linux操作系统，其中12GB做成tmpfs内存盘作为数据存储缓冲区。工控机选用16GB内存，安装两块西霸PCIe 1.0转SATA卡，每块SATA卡有四个SATA接口，通过SATA数据线缆连接8块10TB 3.5寸机械硬盘；使用自主研发的PDU，有8路5V DC和8路12V DC输出，每一路都是程序可控开关，为8块硬盘供电；PDU与工控机通过RS232串口线缆连接，工控机通过串口向PDU发送开启关闭硬盘电源的命令。硬盘阵列总容量为80TB，在存储模式下总功耗为20W；当备份次数N=3时，备份模式下总功耗为25W。

具体的，如图3所示，在实施中，首先执行步骤301）判断是否存在需要存储的文件，若是，依次执行步骤302），若否，执行步骤306）；

步骤302），开启存储模式；

步骤303），将文件写入硬盘；

步骤304），将上述文件加入备份文件队列；

步骤305），判断当前可用功率是否超过阈值，若是，执行步骤306，若否，

执行步骤307；

步骤306），开启备份模式；

步骤307），关闭备份模式。

在存储模式实施中，需要存储的文件通过网络提交给工控机，提交文件后，工控机先将文件保存在缓冲区里，缓冲区可以是SSD或者内存型硬盘，并将该文件添加到存储队列里。

具体的，如图1所示，在一个实施例中，一种低功耗大容量可扩充数据存储方法存储模式包括如下步骤：

步骤101，判断存储文件队列是否为空，若是，执行步骤108，若否，执行步骤102。

步骤102，找到健康且有足够容量的硬盘。

步骤103，判断硬盘是否开启，若是，执行步骤104，若否，执行步骤109。

步骤104，判断硬盘是否挂载，若是，执行步骤105，若否，执行步骤111。

步骤105，将文件写入硬盘。

步骤106，判断文件是否写入成功，若是，执行步骤107，若否，执行步骤113。

步骤107，更新硬盘阵列列表，修改硬盘容量信息，如果硬盘小于设定阈值，关闭硬盘，返回步骤101。

步骤108，文件存储队列为空，保持等待状态。

步骤109，开启硬盘。

步骤110，判断硬盘是否开启成功，若是，执行步骤111，若否，执行步骤113。

步骤111，挂载硬盘。

步骤112，判断硬盘是否挂载成功，若是，执行步骤105，若否，执行步骤113。

步骤113，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，返回步骤102。

如图2所示，在一个实施例中，一种低功耗大容量可扩充数据存储方法备份模式包括如下步骤：

步骤201，找到所有使用过且没有标记为损坏的硬盘。

步骤202，检验硬盘是否能开启，若是，执行步骤203，若否，执行步骤212。

步骤203，判断硬盘是否能挂载，若是，执行步骤204，若否，执行步骤212。

步骤204，从文件信息数据库中找到所有备份次数小于3次以及由于文件损坏导致备份次数小于3次的文件，加入备份文件列表。

步骤205，判断备份文件队列是否为空，若否，执行步骤206，若是，保持等待状态。

步骤206，找到健康、有足够容量且没有存储过该文件的硬盘。

步骤207，判断硬盘是否开启，若是，执行步骤208，若否，执行步骤214。

步骤208，判断硬盘是否挂载，若是，执行步骤209，若否，执行步骤216。

步骤209，将文件写入硬盘。

步骤210，判断文件是否写入成功，若是，执行步骤211，若否，执行步骤218。

步骤211，更新硬盘阵列列表，修改硬盘容量信息，如果硬盘剩余容量小于设定阈值，关闭硬盘，返回步骤201。

步骤212，在文件信息数据库中标记在这块硬盘上的所有文件损坏，同时在硬盘阵列列表中标记该硬盘损坏。

步骤213，保持等待状态。

步骤214，开启硬盘。

步骤215，判断硬盘是否开启成功，若是，执行步骤216，若否，执行步骤218。

步骤216，挂载硬盘。

步骤217，判断硬盘是否挂载成功，若是，执行步骤209，若否，执行步骤218。

步骤218，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，返回步骤206。

Claims

1.一种低功耗大容量可扩充数据存储方法，其特征在于，所述方法应用于数据存储系统中，所述数据存储系统包括低功耗工业控制计算机、程序可控电源分配单元和由若干硬盘组成的硬盘阵列，所述低功耗工业控制计算机以下简称工控机，所述程序可控电源分配单元以下简称PDU，所述低功耗大容量可扩充数据存储方法包括存储模式和备份模式两种；

所述存储模式和备份模式的选择包括如下步骤：

2.1）关闭备份模式；

返回步骤2）；

所述存储模式包括如下步骤：

2）从硬盘阵列列表中找到健康状态且有足够容量的硬盘；

4）检查硬盘是否挂载，如果硬盘已经挂载，进入步骤5）；

5）将文件写入硬盘；

所述备份模式包括如下步骤：

2.根据权利要求1所述的一种低功耗大容量可扩充数据存储方法，其特征在于，所述工控机根据使用场景需求选择功耗合适以及能提供足够多与硬盘连接的SATA接口的工控机，满足低功耗和大容量的需求。

3.根据权利要求1所述的一种低功耗大容量可扩充数据存储方法，其特征在于，所述工控机的缓冲区为SSD或者内存型硬盘。

4.根据权利要求1所述的一种低功耗大容量可扩充数据存储方法，其特征在于，所述硬盘阵列根据需要增加或减少硬盘数量和大小。