CN109522152A - 电镜数据灾备方法、存储介质和装置 - Google Patents

Abstract

本发明提供一种电镜数据灾备方法、存储介质和装置，该方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统，源端存储系统挂载于源端服务器，目标端存储系统挂载于目标端服务器，包括：步骤11：判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统；步骤13：当任一进程结束后，返回步骤11，直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。基于本发明提供的电镜数据灾备方法，在不影响其他任务的前提下实现对电镜数据的快速灾备，避免数据丢失，保障数据安全。

Description

电镜数据灾备方法、存储介质和装置

技术领域

本发明涉及计算机领域，特别涉及一种电镜数据灾备方法、存储介质和装置。

背景技术

随着硬件技术的进步，应用冷冻电镜技术解析生物大分子的结构正在成为一个崭新的结构生物学研究方向。近年来，不少研究团队基于冷冻电镜技术在国际顶级学术期刊Nature、Science、Cell等发表了数十篇高分辨率的关于蛋白质三维结构解析成果，对生命科学的发展产生了重大影响，而冷冻电镜在这其中发挥着举足轻重的作用。

为了重构出高精度的分子结构，冷冻电镜需要拍摄大量二维的高分辨率图像，由于冷冻电镜在拍摄过程中很难避免诸如欠焦等问题，从而会导致丢失一些图像信息，为了避免有效信息的丢失，冷冻电镜通常会在不同的欠焦水平和不同的角度下拍摄大量高分辨率的二维图像加以合成，以弥补单一图像丢失的信息，最终利用所拍摄的大量的高分辨率的二维图像，通过相关的三维重构软件如Relion等重构出高分辨率的分子结构。

然而，在重构三维分子结构的过程中，为了构建精确的高分辨率的三维分子结构，冷冻电镜需要从不同的角度拍摄大量的高分辨率的二维图像，细微的角度变化均需要拍摄大量的二维图像，在电镜满负荷工作的情况下，每天会产生数几十TB的电镜数据，以清华大学生命学院电镜平台Titan为例，每台Titan的拍摄速率7GB/分钟，即每分钟产生7GB左右的图像数据，这样一台电镜在一天中就能产生7GB/分钟*60分钟/小时*24小时＝10.08TB的数据，从而导致每年将消耗高达4PB的存储容量。

为了便于用户使用数据，冷冻电镜大数据面临管理和维护的双重难题。其中大数据管理，首先需确保数据安全，但是当出现设备故障、黑客入侵、漏水时间、火灾时间或倒塌时间等，不可避免地会造成数据丢失，常用的方法是进行数据备份。

对于电镜数据而言，如何将大容量的电镜数据从一个存储系统灾备到另一个存储系统，且不影响其他电镜处理任务，是目前电镜数据管理急需解决的问题。

发明内容

有鉴于此，本发明提供一种电镜数据灾备方法、存储介质和装置，可以解决将大容量的电镜数据从一个存储系统灾备到另一个存储系统的问题。

本发明提供一种电镜数据灾备方法，用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统，源端存储系统挂载于源端服务器，目标端存储系统挂载于目标端服务器，该方法包括：

步骤11：判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统；

步骤13：当任一进程结束后，返回步骤11，直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。

本发明还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，指令在由处理器执行时使得处理器执行上述的电镜数据灾备方法中的步骤。

本发明还提供一种电镜数据转储装置，包括处理器和上述的非瞬时计算机可读存储介质。

本发明电镜数据灾备方法，不影响其他电镜处理任务的前提下实现对电镜数据的快速灾备，方法准实时可控，可避免数据丢失，能安全可靠地保障数据安全，满足电镜数据的管理需求，具有较好的应用前景和推广价值。

附图说明

图1为本发明电镜数据灾备方法的流程图；

图2为本发明电镜数据灾备系统的结构图；

图3为本发明电镜数据灾备方法的第一实施例；

图4为本发明电镜数据灾备装置的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用来区别类似的对象，而不必用于描述特定的顺序和先后次序。应该理解，这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在实际工作中，电镜数据存储面临的主要挑战是：成倍数增长的电镜原始数据和过程数据，对存储系统容量、用户配额分配管理策略带来了极大的挑战，并间接影响到科研效率和整体进度。具体包括以下层面：

1.数据量弹性大：冷冻电镜领域是当前特别活跃的一个科研领域，各种软硬件技术革新层出不穷；同一套原始数据结合不同的分析流程会产生多种过程和结果数据，数据规模会日趋庞大而复杂；课题组与课题组之间，课题组与校外机构合作研究时会产生大量的数据副本，虽可同时满足数据共享便利性和原始数据完整性等多样化需求，却也为存储系统带来容量压力。因此，电镜采集的数据具备很大的弹性。在存储系统合理化使用和数据副本管理方面缺乏更高效、更经济的管理策略。

2.数据管理相关信息孤立分散、缺乏基于内容的感知：大部分电镜数据由科研人员自行管理，尚无统一的管理策略，大量离线数据的日常管理占用了课题组过多精力。同时，管理员基于系统优化目的对数据进行调整、迁移，此类信息如何更加快捷、准确地面向科研人员发布，也是一个有待解决的问题。

3.管理滞后：管理员用户权限与数据权限分离，平台管理者难以挖掘用户使用规律并深入配合科研业务需求及时调整平台管理策略和长期运营规划，应对解决方案一定程度上存在滞后性，在辅助科研成果高效产出过程中缺少主动性。

4.手工数据迁移任务太繁重：缺乏有效的自动化或半自动化工具软件或脚本，管理员对数据的迁移任务工作量太繁重，并容易导致操作事故。

本发明针对上述第4个问题，提出一种电镜数据灾备方法，用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统，源端存储系统挂载于源端服务器，目标端存储系统挂载于目标端服务器，如图1所示，该方法包括：

步骤11：判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将待灾备目录下的一个待同步电镜数据文件同步至目标存储系统；

步骤13：当任一进程结束后，返回步骤11，直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。

为了实现灾备，本发明构建了如图2所示的灾备系统，包括101源端存储系统、102目标端存储系统、103源端服务器和104目标端服务器，101源端存储系统挂载于103源端服务器，102目标端存储系统挂载于104目标端服务器，103源端服务器与104目标端服务器通过可扩容光纤和/或电缆连接，例如可采用一个或多条单模光纤连接。

步骤11中的预设条件，可根据用户需求设定，例如设定剩余带宽大于链路带宽的20％为预设条件，符合条件后，将剩余带宽的30％用于创建copynum个灾备进程，剩余带宽越大则对应的copynum数值越大。需要说明的是，上述20％和30％仅用于举例说明，具体应用时，管理员可根据实际情况选用。

本发明在源端服务器与目标端服务器的交互或传输不频繁的时候，才启动灾备方法，以确保灾备不影响其他电镜处理任务。

一次灾备任务可包括多个待灾备目录，例如将2018年4月上半月创建的目录选为本次灾备任务的待灾备目录，则根据日期范围，执行“[root@nv_sender TitanD3172]#du-sh 201804[0][1-9]*201804[1][0-5]*”，可将源存储系统中符合条件的待灾备目录扫描出来。

确定灾备目录后，则每个灾备目录下的电镜数据文件都是本次灾备任务的“待灾备电镜数据文件”。

可选地，使用rsync–av命令启动一个进程，rsync本身是一个同步命令，本发明将rsync与进程相结合构建并行传输框架，使得本发明图1的方法可以有序高效的运转。现有的每个电镜数据文件(*cor2*.mrc)大小、格式都较为统一，也使得图1的方案运行时面对进程切换也可以有序进行、避免冲突。

上述本发明电镜数据灾备方法，采用并行同步，效率高、用时少，不影响其他电镜处理任务的前提下实现对电镜数据的快速灾备，经测试，本发明方法准实时可控，能满足电镜数据的管理需求，具有较好的应用前景和推广价值。

进一步地，图1的方法也可以待灾备目录为单位，依次同步每个待灾备目录下的电镜数据文件，一个目录同步完后再同步下一个目录，如图3所示，包括：

步骤10：将待灾备目录汇总并生成灾备目录列表，依次选取灾备目录列表中的L个目录为同步目录，对同步目录执行步骤11’，L≥1；

步骤11’：判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将待灾备目录中同步目录下的一个待灾备电镜数据文件同步至目标存储系统；

步骤13’：当任一进程结束后，返回步骤11’，直至所述待灾备目录中同步目录下的所有待灾备电镜数据文件均同步完毕。

L根据用户需求设定，可以设为1个或2个。

例如，设灾备目录列表为list.candidates，则步骤10依次从list.candidates中获取1个对应目录名称，放到running文件中，如果有同步任务完成，会把对应目录名称从running文件中删除，并添加到list.done文件中，之后会在list.candidates中继续同步下一个目录；当running文件变成空之后，说明同步完成，以此反复，直到list.done中的目录与list.candidates相同。

为了进一步避免灾备进程影响其他电镜处理任务，图1或图3方法中的步骤11或步骤11’还包括：在灾备进程的运行过程中，监控源端服务器的CPU指标，当CPU指标大于第一预设值时，挂起或终止至少一个灾备进程。

例如CPU指标可以是CPU负载和/或CPU使用率，然后分别设置CPU负载的警戒线和/或CPU使用率的警戒线，超出警戒线后即挂起或终止至少一个灾备进程，直到CPU指标小于等于第一预设值。

为了进一步避免灾备进程影响其他电镜处理任务，图1或图3方法中的步骤13或步骤13’还包括：当任一进程结束后，检测该进程的运行时间，如果运行时间大于第二预设值，挂起或终止至少一个灾备进程。

如下所示，实际测试数个的电镜数据文件(mrc文件)的runtime，runtime为每个电镜数据文件的进程运行时间，从下面的数据可知，正常的runtime的数值在30～60ms，因此可设置第二预设值为1000ms，当runtime大于1000ms时，说明源端服务器与目标端服务器之间的链路阻塞，此时可挂起或终止至少一个灾备进程。

fnode042 07/19/18-13:25 8.1M/Share/lkup/t_1.mrc,runtime:52ms,

fnode042 07/19/18-13:25 8.1M/Share/lkup/t_2.mrc,runtime:34ms,

fnode042 07/19/18-13:25 8.1M/Share/lkup/t_3.mrc,runtime:43ms,

fnode042 07/19/18-13:26 8.1M/Share/lkup/t_4.mrc,runtime:47ms,

fnode042 07/19/18-13:26 8.1M/Share/lkup/t_5.mrc,runtime:35ms,

fnode042 07/19/18-13:26 8.1M/Share/lkup/t_6.mrc,runtime:35ms

可选地，为了进一步校验灾备文件是否完备，在图1的步骤13之后还包括：

步骤14：判断灾备目录下是否存在传输失败的文件，如果是，则将传输失败的文件标记为待灾备电镜数据文件，返回步骤11，如果否，则灾备任务完成。

例如，可以通过对比源存储系统和目标存储系统相同目录下的文件名称和大小，判断每个电镜数据文件是否同步成功。

鉴于电镜数据文件之间存在较高的相似度，相邻数据文件之间的波动非常少，丢失部分数据，例如一个目录下的5％的数据，并不影响数据重构结果，因此步骤14判断是否存在传输失败的文件时，也可以放宽要求，在少量文件未同步成功的情况下，也可以认为该目录灾备成功。

或者，在图3的步骤13’之后还包括：

步骤15：判断灾备目录下是否存在传输失败的文件，如果是，则提示管理存在传输失败的文件和/或将传输失败的文件信息汇总发送给管理员，如果否，则灾备任务完成。

步骤15是触发人工处理的方法，由管理员检测传输失败的原因，并进行相应处理。

校验除了采用步骤14或步骤15的方法之外，还可以采用现有技术的其他方法，本发明对此不做限定。

可选地，在图1的步骤13或图3的步骤13’之后还包括：

步骤16：在第一次灾备任务完成后的第n天，对灾备目录执行第m次增量同步，n>1，m≥1。

例如，取值n＝8时，m＝1，和/或n＝16时，m＝2，如何取值可根据实际情形选定。

执行rsync命令即可执行增量同步，因此只需将图1或图3的方法再运行一遍，即可完成对对灾备目录的增量同步。

当待灾备目录的日期范围是半个月，则图1或图3的方法的有效期间也是半个月，考虑到在半个月的时间内，用户可能会更新待灾备目录下的电镜数据文件，因此执行增量更新可以避免丢失新增的文件，例如取值n＝8，m＝1，则第一次灾备后第8天执行第一次增量更新，将第一次灾备后8天内更新的文件同步到目标存储系统，继续取值n＝15，m＝2时，则第一次灾备后第15天执行第二次增量更新，将第一次灾备后第8天至第15天内更新的文件将同步到目标存储系统。

可选地，在图1的步骤11之前还包括：

步骤A：验证管理员信息，通过验证后执行步骤11。

可选地，在图3的步骤10之前还包括：

步骤A’：验证管理员信息，通过验证后执行步骤10。

为了简化认证，避免管理员繁琐输入用户信息，可选地，可使用使用无密码身份验证技术，无密码身份验证技术包括sshpass、ssh等。

为了方便管理员了解灾备任务的时间信息，还可以在步骤13中输出每个进程的运行时间(runtime)、文件名和/或当前系统时间等信息。

本发明还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，指令在由处理器执行时使得处理器执行上述的电镜数据灾备方法中的步骤。

本发明还提供一种电镜数据灾备装置，包括处理器和上述的非瞬时计算机可读存储介质。

如图4所示，本发明的电镜数据灾备装置，用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统，源端存储系统挂载于源端服务器，目标端存储系统挂载于目标端服务器；该装置包括：

灾备进程创建模块：判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统；

进程监控模块：当任一进程结束后，返回灾备进程创建模块，直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。

可选地，在灾备进程创建模块之前还包括：

目录列表生成模块：将待灾备目录汇总并生成灾备目录列表，依次选取灾备目录列表中的L个目录为同步目录，对同步目录执行灾备进程创建模块，L≥1；

灾备进程创建模块中：每个进程用于将待灾备目录下的一个待同步电镜数据文件同步至目标存储系统包括：每个进程用于将待灾备目录中同步目录下的一个待灾备电镜数据文件同步至目标存储系统；

进程监控模块中：直至待灾备目录下的所有待灾备电镜数据文件均同步完毕包括：直至待灾备目录中同步目录下的所有待灾备电镜数据文件均同步完毕。

进一步地，灾备进程创建模块还包括：在灾备进程的运行过程中，监控源端服务器的CPU指标，当CPU指标大于第一预设值时，挂起或终止至少一个灾备进程。

进一步地，进程监控模块还包括：当任一进程结束后，检测该进程的运行时间，如果运行时间大于第二预设值，挂起或终止至少一个灾备进程。

进一步地，进程监控模块之后还包括：

检验模块1：判断灾备目录下是否存在传输失败的文件，如果是，则将传输失败的文件标记为待灾备文件，返回灾备进程创建模块，如果否，则灾备任务完成。

可选地，进程监控模块之后还包括：

检验模块2：判断灾备目录下是否存在传输失败的文件，如果是，则提示管理存在传输失败的文件和/或将传输失败的文件信息汇总发送给管理员，如果否，则灾备任务完成。

可选地，进程监控模块之后还包括：

增量同步模块：在第一次灾备任务完成后的第n天，对灾备目录执行第m次增量同步，n>1，m≥1。

需要说明的是，本发明的电镜数据灾备装置的实施例，与电镜数据灾备方法的实施例原理相同，相关之处可以互相参照。

以上所述仅为本发明的较佳实施例而已，并不用以限定本发明的包含范围，凡在本发明技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种电镜数据灾备方法，其特征在于，所述方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统，所述源端存储系统挂载于源端服务器，所述目标端存储系统挂载于目标端服务器，所述方法包括：

步骤11：判断所述源端服务器与目标端服务器的当前剩余带宽是否符合预设条件；如果是，则根据所述当前剩余带宽确定进程数copynum，创建copynum个并行进程，每个进程用于将所述待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统；

步骤13：当任一进程结束后，返回步骤11，直至所述待灾备目录下的所有待灾备电镜数据文件均同步完毕。

2.根据权利要求1所述的方法，其特征在于，所述步骤11之前还包括：

步骤10：将所述待灾备目录汇总并生成灾备目录列表，依次选取所述灾备目录列表中的L个目录为同步目录，对所述同步目录执行步骤11，L≥1；

所述步骤11中：所述每个进程用于将所述待灾备目录下的一个待同步电镜数据文件同步至目标存储系统包括：每个进程用于将所述待灾备目录中所述同步目录下的一个待灾备电镜数据文件同步至目标存储系统；

所述步骤13中：所述直至所述待灾备目录下的所有待灾备电镜数据文件均同步完毕包括：直至所述待灾备目录中所述同步目录下的所有待灾备电镜数据文件均同步完毕。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤11还包括：在所述进程的运行过程中，监控所述源端服务器的CPU指标，当所述CPU指标大于第一预设值时，挂起或终止至少一个所述进程。

4.根据权利要求1或2所述的方法，其特征在于，所述步骤13还包括：当任一进程结束后，检测该进程的运行时间，如果所述运行时间大于第二预设值，挂起或终止至少一个进程。

5.根据权利要求1所述的方法，其特征在于，所述步骤13之后还包括：

步骤14：判断所述灾备目录下是否存在传输失败的文件，如果是，则将所述传输失败的文件标记为待灾备电镜数据文件，返回步骤11，如果否，则灾备任务完成。

6.根据权利要求2所述的方法，其特征在于，所述步骤13之后还包括：

步骤15：判断所述灾备目录下是否存在传输失败的文件，如果是，则提示管理员存在传输失败的文件和/或将所述传输失败的文件信息汇总发送给管理员，如果否，则灾备任务完成。

7.根据权利要求1或2所述的方法，其特征在于，所述步骤13之后还包括：

步骤16：在第一次灾备任务完成后的第n天，对所述灾备目录执行第m次增量同步，n>1，m≥1。

8.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一所述的电镜数据灾备方法中的步骤。

9.一种电镜数据灾备装置，其特征在于，包括处理器和如权利要求9所述的非瞬时计算机可读存储介质。