CN108052278A

CN108052278A - 电镜数据的存储控制方法和存储系统

Info

Publication number: CN108052278A
Application number: CN201710928202.6A
Authority: CN
Inventors: 阮华斌; 杨涛; 王亚坤
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2017-10-09
Filing date: 2017-10-09
Publication date: 2018-05-18

Abstract

本发明提供一种电镜数据的存储控制方法和存储系统，该方法包括：步骤A‑1：扫描电镜数据，输出电镜数据的标签信息；标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；步骤A‑2：解析电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到电镜数据的存储指标P；步骤A‑3：根据存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备。本发明提供的电镜数据的存储控制方法和存储系统，可以基于电镜数据的价值合理分配存储资源，提高每种存储设备的利用率，节约存储成本。

Description

电镜数据的存储控制方法和存储系统

技术领域

本发明涉及计算机领域，特别涉及一种电镜数据的存储控制方法和存储系统。

背景技术

随着硬件技术的进步，应用冷冻电镜技术解析生物大分子的结构正在成为一个崭新的结构生物学研究方向。近年来，不少研究团队基于冷冻电镜技术在国际顶级学术期刊Nature，Science，Cell等发表了数十篇高分辨率的关于蛋白质三维结构解析的成果，对生命科学的发展产生了重大影响，而冷冻电镜在这其中发挥着举足轻重的作用。

为了重构出高精度的分子结构，冷冻电镜需要拍摄大量二维的高分辨率图像，由于冷冻电镜在拍摄过程中很难避免诸如欠焦等问题，从而会导致丢失一些图像信息，为了避免有效信息的丢失，冷冻电镜通常会在不同的欠焦水平和不同的角度下拍摄大量高分辨率的二维图像加以合成，以弥补单一图像丢失的信息，最终利用所拍摄的大量的高分辨率的二维图像，通过相关的三维重构软件如Relion等重构出高分辨率的分子结构。

然而，在重构三维分子结构的过程中，为了构建精确的高分辨率的三维分子结构，冷冻电镜需要从不同的角度拍摄大量的高分辨率的二维图像，细微的角度变化均需要拍摄大量的二维图像，在电镜满负荷工作的情况下，每天会产生数几十TB的电镜数据，以清华大学生命学院电镜平台Titan为例，每台Titan的拍摄速率7GB/分钟，即每分钟产生7GB左右的图像数据，这样一台电镜在一天中就能产生7GB/分钟*60分钟/小时*24小时＝10.08TB的数据，从而导致每年将消耗高达4PB的存储容量。

另一方面，在海量的电镜数据中，部分数据的重要性或数据质量要优于其他数据，如稀有样本的测量数据，或者监测到重要特征的测量数据，如何将数据管理与研究或工作的需求相匹配，并尽量降低存储成本，是一个亟待解决的工程技术问题。

发明内容

本发明提供了一种电镜数据的存储控制方法和存储系统，可以基于电镜数据的价值合理分配存储资源，提高每种存储设备的利用率，节约存储成本。

本发明提供一种电镜数据的存储控制方法，包括：

步骤A-1：扫描电镜数据，输出电镜数据的标签信息；标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；

步骤A-2：解析电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到电镜数据的存储指标P；

步骤A-3：根据存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备。

本发明还提供一种电镜数据的存储系统，包括数据处理模块、数据迁移模块、存储模块；

数据处理模块，用于扫描电镜数据，解析输入电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到电镜数据的存储指标P；标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；

数据迁移模块，根据存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备；

存储模块，包括M(M≥2)级存储设备，M≥2。

本发明借助于电镜数据的标签信息，得到电镜数据的存储指标P，后根据存储指标P将电镜数据自动存储于不同设备。对已存储数据，通过设置定期自动运行，可实现数据自动迁移。对新输入数据，可以通过指令触发迁移。如此，通过本申请的方法和系统，可实现对海量电镜数据的自动控制管理，使数据存储设备的性能与数据价值相匹配，提高每种存储设备的利用率，并节约存储成本。

附图说明

图1为本发明电镜数据的存储控制方法的流程示意图；

图2为本发明图1的第一实施例；

图3为本发明图1的第二实施例；

图4为本发明图1的第三实施例；

图5为本发明电镜数据的存储系统的第一结构示意图；

图6为本发明电镜数据的存储系统的第二结构示意图；

图7为本发明电镜数据的存储系统的第三结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用来区别类似的对象，而不必用于描述特定的顺序和先后次序。应该理解，这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在本发明中，每一个电镜数据都包含标签信息，标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合。在上述4个标签信息中，L、Q、F、T的重要性依次递减，可选地，L和Q可组成一级标签指标，F和T可组成二级标签指标。

在4个标签信息中，L、Q、T由用户进行人工标注，F由机器标注。标签信息可以存储在电镜数据文件的头部，以分隔符与电镜数据隔离，如下所述：

*******************************

标签信息L、Q、F、T

*******************************

电镜数据

或者，也可以将标签信息存储在于电镜数据相关联的文件中，如“XXXXXX”表示电镜数据文件，则“XXXXXX-BQ”表示该电镜数据的标签信息文件。

每个标签信息以数值或等级符号表示。以等级符号表示时，每个等级对应一个数值，可依据实际情况进行设定。

对于重要有意义的数据，L，Q，F，T的值可以设成较大的值，而对于一些不太重要的，或者较差的数据，则可将L，Q，F，T设置成较小的值。

例如，标签信息L可包括：L3-3，L3-2，L3-1，L2-3，L2-2，L2-1，L1-3，L1-2，L1-1，重要性依次递减；或标签信息L包括：L9，L8，L7，L6，L5，L4，L3，L2，L1，重要性依次递减；或L标签信息由0至100以内的数值表示，以数值大小表示重要程度。需要说明的是，以等级符号表示标签信息，本申请给出的9个类别，仅用于举例说明，实际应用时，可以根据需求进行设定。

标签信息Q可包括：Q3-3，Q3-2，Q3-1，Q2-3，Q2-2，Q2-1，Q1-3，Q1-2，Q1-1，质量依次递减；或标签信息Q包括：Q9，Q8，Q7，Q6，Q5，Q4，Q3，Q2，Q1，质量依次递减；或Q标签信息由0至100以内的数值表示，以数值大小表示质量情况。

标签信息F等级包括：F9，F8，F7，F6，F5，F4，F3，F2，F1，访问频度依次递减；或F标签信息由0至100以内的数值表示，以数值大小表示访问频度。

在电镜数据的标签信息中，可以记录访问用户和访问时间，以记录的信息计算访问频度F物理值：

F物理值＝(预设时间范围内的访问次数)/(预设时间范围)

后根据计算的F物理值大小，由归一化公式得到，F在0至100以内的数值，归一化公式根据经验得到的F物理值的最大值和最小值设定。或者由F的物理值得到对应的F等级，每个F等级对应相应的数值。

标签信息T包括：T1和T2，T1为电镜设备原始采集的数据，T2为电镜设备采集数据经过算法处理后的数据。

可选的，需人工标注的标签信息，如L、Q、T，当该标签信息由等级符号表示时，也可以将标签信息标注在电镜数据的文件名中，如下所示

“YYYY-MM-DD hh:mm:ss-L8-Q7-T2”

如此，数据的使用者，看到文件名即可了解数据的生成时间“YYYY-MM-DD hh:mm:ss”，重要性L指标为“L8”，数据质量Q指标为“Q7”，数据类型为“T2”。

对于电镜数据的标签信息，还可以记录更新时间，该更新数据为标签信息中人工标注或修改标签信息的时间和机器修改标签信息的时间中，取两者中的最新时间为更新时间。

以上是对电镜数据标签信息的说明。

本申请电镜数据的存储控制方法和存储系统，还涉及M(M≥2)级存储设备。可选地，M级存储设备可以包括键-值系统、对象存储系统、数据库系统(如MySQL数据库系统，Oracle数据库系统等)、并行文件系统、或带库系统。不同的系统具有不同的特点。在访问性能上，M级存储设备性能从高至低依次为：键-值系统，对象存储系统，数据库系统，并行文件系统，带库系统，性能越高，成本越高。因此，对于具有重要意义且有高访问需求的电镜数据，将其存储在键-值系统，或者对象存储系统中，而对于暂未产生重要意义，但是最近需要被经常访问处理的数据，则一般将其存储在并行文件系统，或者数据库中，而对于当前暂时无法处理，或者具有意义，但是数据质量较低的数据，则考虑将其存储在带库系统中。

如图1所示，本申请电镜数据的存储控制方法包括以下步骤

步骤A-1(S101)：扫描电镜数据，输出电镜数据的标签信息；标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合。

步骤A-2(S102)：解析电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到电镜数据的存储指标P。

步骤A-3(S103)：根据存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备。

进一步地，P的计算公式为：

P＝c1*L+c2*Q+c3*F+(1-c1-c2-c3)*T (1)

其中，0<c1≤1，0≤c2<1，0≤c3<1，0<c1+c2+c3≤1；L、Q、F、T的缺省值为0。

在设置系数时，考虑到L和Q的指标的重要性大于F和T，可使c1+c2>(1-c1-c2)，进一步考虑到L指标的重要性大于Q指标，还可以使c1>c2。

例如可以使c1＝0.45，c2＝0.3，c3＝0.15，如此P的计算公式为

P＝0.45*L+0.3*Q+0.15*F+0.1*T (2)

令L、Q、F、T满足，0≤L、Q、F、T≤100，则P也满足0≤P≤100。

当M级存储设备包括键-值系统、对象存储系统、数据库系统、并行文件系统、和带库系统时，P值和存储设备的对应关系可以如表1所示，需要说明的是，本申请对存储设备与P值的对应关系不做限定，具体应用时，可参考各存储设备的性能和容量进行设定。

表1：存储设备与P值对应关系

存储设备	分值范围P
		键-值系统	95<P≤100
对象存储系统	85<P≤95
		数据库系统	75<P≤85
并行文件系统	30<P≤75
		带库系统	0≤P≤30

举例说明，用户数据集DS1，基于该数据集产生了重要的研究成果，并且被不断的下载访问，为能够快速的访问该数据集，用户将L，Q，T的值分别设置成：100，95，95，且F的值根据访问频度换算后为100，将该组值代入公式2得出：

P＝0.45*100+0.3*95+0.15*100+0.1*95＝97

由于满足95<P≤100，因此，数据集DS1将被自动存储至键-值系统中。

又，举例说明，用户数据集DS2，基于该数据集只产生了若干普通成果，数据集的质量一般，由于目前暂时无法得到好的研究成果，该数据集近期未被频繁访问，因此，用户将L，Q，T的值分别设置成：50，50，80，且F的值根据访问频度换算后为40，将该组值代入公式2得出：

P＝0.45*50+0.3*50+0.15*40+0.1*80＝51.5

由于满足30<P≤75，因此，数据集DS2将被自动存储至并行文件系统中。

可选地，电镜数据可分为待存储数据和已存储数据，对于已存储数据步骤A-1可以设定定期运行，当已存储数据的标签信息发生变更后，可以通过步骤A-1至步骤A-3实现电镜数据的自动迁移。

对于已存储数据，考虑到标签信息未发生变更的数据无需更改存储设备，因此可以只对标签信息发生变更的数据进行迁移，基于此，将图1中步骤A-1扩展为步骤B-1，步骤A-2和步骤A-3不变，如下所述：

如图2所示，步骤B-1(S101-1)：扫描已存储数据中标签信息发生变更的电镜数据,输出扫描后得到的电镜数据的标签信息，执行步骤A-2。

具体地，可以在标签信息中记录标签信息的更新时间和P值的更新时间，通过比较两个时间，确认标签信息是否发生变更。如果标签信息的更新时间晚于P值的更新时间，说明标签信息发生变更，如果标签信息的更新时间早于P值的更新时间，说明标签信息发生未变更。

或者，对已存储数据设置标签更改标记，P值更新后，将标记设为“标签未更改”或设置为无标记，在P值下次更新前，如果检测到标签信息发生变更，则将标记更改为“标签已更改”，通过扫描标签更改标记得到步骤B-1中“标签信息发生变更的数据”。

对于已存储数据，则将图1中步骤A-1扩展为步骤C-1，步骤A-2和步骤A-3不变。

如图3所示，步骤C-1(S101-2)：检查待存储数据的标签信息是否符合的预设标签要求，如果否，提示用户修改标签信息，修改后返回执行步骤C-1，直至检查完毕，如果是，输出待存储数据的标签信息，执行步骤A-2。

对于公式(1)，如果指标L为该公式的必要指标，只有Q、F、T的缺省值为0，则待存储数据的标签信息中L指标不可或缺，步骤C-1需检查L指标是否符合预设规则，若L分为L9，L8，L7，L6，L5，L4，L3，L2，L1，则标签信息没有出现“L9/L8/L7/L6/L5/L4/L3/L2/L1”，即标签信息不符合预设标签要求，需用户重新设定。

在电镜数据存储的过程中，如果标签信息的设置发生变化，或者P的计算公式中的必要参数发生变化，则需要重新核定已存储数据是否符合新的预设要求，此时如图4所示，图1中步骤A-1可扩展为步骤D-1至步骤D-4，步骤A-2和步骤A-3不变：

步骤D-1(S101-3)：扫描已存储数据中是否存在标签信息不符合预设要求的数据，如果是，执行如何D-2，直至扫描完毕，如果否，结束本流程；

步骤D-2(S101-4)：提示用户修改标签信息；

步骤D-3(S101-5)：检查修改后的标签信息是否符合的预设标签要求，如果否，返回执行步骤D-2，如果是，执行步骤D-4；

步骤D-4(S101-6)：输出修改后电镜数据的标签信息，执行步骤A-2。

对于步骤D-1，可以等扫描完毕，一次输出不符合预设标签要求的数据list表格，后执行步骤D-2，也每扫描到一个不符合预设要求的数据就执行步骤D-2。步骤D-4也同样如此，可以一次收集所有需要迁移的数据信息后再执行步骤A-2，或者每收集的一个数据后立即执行步骤A-2。

本申请还包括，实时或定期监控M级存储设备的运行参数；对于任一运行参数，当其值超出设定的阈值范围时，触发报警。

运行参数包括每个或所有存储设备的空间占用比、数据总量、数据增长量；每个类型的数据总量、每个类型的数据增长量、每个类型的数据占比；每个用户的数据总量、每个用户的数据增长量、每个用户的数据占比、每个工作组的数据总量、每个工作组的数据增长量、每个工作组的数据占比等。

触发报警的方式包括：以警示音、电话通知、短信、邮件、或微信的方式将运行参数的监控状况通知相关人员。

以上是对本申请电镜数据的存储控制方法的说明。

本申请还包括一种电镜数据的存储系统，如图5所示，包括数据处理模块、数据迁移模块、存储模块；

存储模块，包括M(M≥2)级存储设备，M≥2。

如图6所示，本申请系统还包括接口模块。

接口模块包括标签信息设置子单元和存储策略设置子单元；标签信息设置子单元，用于输入或修改电镜数据标签信息的符号和取值范围，或用于输入或修改标签信息的等级符号和对应的取值，标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；存储设置修改子单元，用于输入或修改存储策略，存储策略为M级存储设备各自对应的存储指标P的数值范围；

数据处理模块包括扫描子单元和存储指标计算子单元；扫描子单元，用于扫描电镜数据，将扫描后得到的电镜数据的标签信息发送给存储指标计算子单元；存储指标计算子单元，解析输入电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到该电镜数据的存储指标P，将该电镜数据的存储指标P发送给数据迁移模块；

数据迁移模块，执行接口模块输入的存储策略，根据存储指标P，将该电镜数据存储至该存储指标P所对应等级的存储设备。

本申请电镜数据包括待存储数据和已存储数据。

如图7所示，接口模块还包括标签信息检查子单元，标签信息检查子单元：检查待存储数据的标签信息是否符合的预设标签要求？如果否，提示用户修改标签信息，修改后返回标签信息检查子单元，如果是，则将待存储数据的标签信息发送给存储指标计算子单元。

扫描子单元还包括标签信息变更扫描子单元，标签信息变更扫描子单元：扫描已存储数据中标签信息发生变更的电镜数据；将扫描后得到的电镜数据的标签信息发送给存储指标计算子单元。

标签信息检查子单元还包括：检查已存储数据的标签信息是否符合的预设标签要求？如果否，提示用户修改标签信息，修改后，检查标签信息是否符合的预设标签要求？如果否，继续提示用户修改标签信息，如果是，则将该电镜数据的标签信息发送给存储指标计算子单元。

需要说明的是，本发明的电镜数据存储系统的实施例，与电镜数据存储控制方法的实施例原理相同，相关之处可以互相参照。

以上所述仅为本发明的较佳实施例而已，并不用以限定本发明的包含范围，凡在本发明技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种电镜数据的存储控制方法，其特征在于，

步骤A-1：扫描电镜数据，输出电镜数据的标签信息，所述标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；

步骤A-3：根据所述存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备；其中，所述存储设备包括M级存储设备，M≥2。

2.根据权利要求1所述的方法，其特征在于，所述存储指标P的计算公式为：

P＝c1*L+c2*Q+c3*F+(1-c1-c2-c3)*T

其中，0<c1≤1，0≤c2<1，0≤c3<1，0<c1+c2+c3≤1；

所述L、Q、F、T的缺省值为0。

3.根据权利要求1所述的方法，其特征在于，所述电镜数据包括已存储数据；所述方法还包括：

步骤B-1：扫描所述已存储数据中标签信息发生变更的电镜数据,输出扫描后得到的电镜数据的标签信息，执行所述步骤A-2。

4.根据权利要求1所述的方法，其特征在于，所述电镜数据还包括待存储数据；所述方法还包括：

步骤C-1：检查待存储数据的标签信息是否符合的预设标签要求，如果否，提示用户修改标签信息，修改后返回执行步骤C-1，直至检查完毕，如果是，输出所述待存储数据的标签信息，执行所述步骤A-2。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

步骤D-1：扫描已存储数据中是否存在标签信息不符合预设要求的数据，如果是，执行步骤D-2，直至扫描完毕，如果否，结束本流程；

步骤D-2：提示用户修改标签信息；

步骤D-3：检查修改后的标签信息是否符合的预设标签要求，如果否，返回执行步骤D-2，如果是，执行步骤D-4；

步骤D-4：输出修改后电镜数据的标签信息，执行所述步骤A-2。

6.一种电镜数据的存储系统，其特征在于，所述系统包括数据处理模块、数据迁移模块、存储模块；

所述数据处理模块，用于扫描电镜数据，解析输入电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到电镜数据的存储指标P；所述标签信息包括数据重要性指标L、数据质量指标Q、访问频度指标F、数据类型指标T中的任一指标或者其组合；

所述数据迁移模块，根据所述存储指标P，将电镜数据存储至其存储指标P所对应等级的存储设备；

所述存储模块，包括M(M≥2)级存储设备，M≥2。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括接口模块，

所述接口模块，包括标签信息设置子单元和存储策略设置子单元；其中，所述标签信息设置子单元，用于输入或修改电镜数据标签信息的符号和取值范围，或用于输入或修改标签信息的等级符号和对应的取值，所述存储策略设置子单元，用于输入或修改存储策略，所述存储策略为M级存储设备各自对应的存储指标P的数值范围；

所述数据处理模块，包括扫描子单元和存储指标计算子单元；所述扫描子单元，用于扫描电镜数据，将扫描后得到的电镜数据的标签信息发送给所述存储指标计算子单元；所述存储指标计算子单元，解析输入电镜数据的标签信息，将标签信息中所包含的指标进行加权后求和，得到该电镜数据的存储指标P，将该电镜数据的存储指标P发送给数据迁移模块；

所述数据迁移模块，执行所述接口模块输入的存储策略，根据所述存储指标P，将该电镜数据存储至该存储指标P所对应等级的存储设备。

8.根据权利要求7所述的方法，其特征在于，所述电镜数据包括待存储数据；

所述接口模块还包括标签信息检查子单元，所述标签信息检查子单元：检查待存储数据的标签信息是否符合的预设标签要求；如果否，提示用户修改标签信息，修改后返回所述标签信息检查子单元，直至检查完毕，如果是，则将待所述存储数据的标签信息发送给所述存储指标计算子单元。

9.根据权利要求7所述的系统，其特征在于，所述电镜数据包括已存储数据；

所述扫描子单元还包括标签信息变更扫描子单元，所述标签信息变更扫描子单元：扫描所述已存储数据中标签信息发生变更的电镜数据；将扫描后得到的电镜数据的标签信息发送给所述存储指标计算子单元。

10.根据权利要求9所述的系统，其特征在于：

所述标签信息检查子单元还包括：检查已存储数据的标签信息是否符合的预设标签要求？如果否，提示用户修改标签信息，检查修改后的标签信息是否符合的预设标签要求？如果否，继续提示用户修改标签信息，如果是，则将该电镜数据的标签信息发送给所述存储指标计算子单元。