CN104537713A - 一种新型三维重构系统 - Google Patents

Abstract

一种新型三维重构系统包括Appion系统的工作流展现模块、数据指令转换模块、数据配置模块、LSF系统的网格作业队列模块、LSF调度库模块、LSF计费库模块及网络资源池模块。本发明提出的一种新的基于LSF系统、Appion系统和冷冻电子显微镜技术实现三维重构的系统，该系统开创性地将基于Appion系统、冷冻电镜生物结构研究技术和基于LSF的网格计算技术三者有机结合在一起，形成一种新的冷冻电子显微镜三维重构技术，该技术的重要特点是三维重构的流水线技术的实现，该流水线技术能有效降低生物样品电镜图像解析的工作强度，并有效提高结构生物学电镜三维重构方法的研究效率。

Description

一种新型三维重构系统

技术领域

本技术属于结构尘物学领域，具体涉及一种基于LSF系统和Appion系统的冷冻电子显微镜实现三维重构流水线系统。

背景技术

1974年由Taylor K和Glaeser RM创立了冷冻电镜技术(Cryo-ElectronMicroscopy，简称Cryo-EM)。Cryo-EM是一种新兴的尘物大分子三维重构方法，也是一种典型的多学科综合技术，包括电子显微技术、成像技术，计算机三维重构技术和生物信息技术。

Cryo-EM的主要思路是利用冷冻电镜和低剂量电子束成像技术对样本进行电子成像，利用高灵敏底片进行成像记录，并对记录图像进行图像处理，包括尘物分子颗粒识别、校正、去噪等，最后完成样本的三维重构计算。

人类基因组工作草图的绘制完成，标志着生命科学进入了后基因时代。在人类基因组测定之后，人们发现仅从基因组序列的角度根本无法完整、系统地阐明生物体的功能，必须对蛋白质进行结构和功能上的研究，才能更好地理解尘命过程。而以蛋白质为主体的生物大分子的功能主要决定于它们的三维结构。因此，研究生物大分子三维结构和功能之间的关系成为了现代生命科学的一个重要研究领域，生物大分子高分辨率三维结构的研究甚至原子水平结构的研究也已经成为现代结构尘物学的主要内容之一。随着技术设备的进一步成熟和参与研究的人员日益增加，Cryo-EM已逐步发展成为确定蛋白质分子，蛋白质复合物和细胞器结构的一种非常有效和具有美好前景的方法。

传统的生物大分子三维重构技术包括：X射线晶体衍射技术(X-Ray)和核磁共振成像技术(NMR)。对比用于测定结构的传统典型技术，Cryo-EM技术主要具备如下优势：显微镜真空环境的样品制备条件，减少辐射损伤的策略，提高未经染色的电子显微像的信噪比的方法和二位投影三位重构的不同方法；冷冻电镜通过高压快速液氮冷冻的制样方法能够使样品处在接近于生理环境的玻璃态冰中从而保持其天然构像；由于快速冷冻可以捕捉到某个反应过程的中间状态从而可以对大分子复合物进行尘物学功能的动态研究。

随着高性能计算机集群技术和冷冻电子显微镜技术的进一步发展，以及生物医疗领域内对关键尘物样品结构和功能解析的迫切需求，冷冻电子显微镜三维重构方法，已经成为了学术界和工业界的研究热点之一。

LSF(Load Sharing Facility)是Platform公司开发的基于负载均衡的作业调度和资源管理软件系统，是商用网格计算系统的代表性产品，对于解决大规模的计算问题具有很强的优势。LSF是目前使用最为广泛的网格平台搭建工具，相比其他网格计算解决方案来说，它拥有更加强大的底层资源调度能力，能基于现有高级计算资源构建网格数据处理平台。

LSF支持不同的主机架构和操作系统，它把网络中的异构机群当作一个虚拟网络计算机来看待，收集、监控和管理虚拟网络计算机的内在资源(如CPU、内存等)和外部定义的虚拟资源(如许可证等)，自动调度用户提交的计算作业到最佳的运算主机，以满足作业对资源的请求。

LSF可持续提供资源管理服务，即使系统中部分主机节点发生问题，主机上运行的作业也不会丢失，可以被及时恢复运行，而发生问题的主机也可被及时调整，恢复高质量的运行能力。该系统同时为计算机系统提供灵活有效的作业管理，保证用户间资源共享，确保优质完成各种复杂的高要求的作业，LSF提供的管理工具能够实时动态提供系统的各种资源的最新状态信息，并以图表的方式直观地显示出来，从而看出资源的使用情况，为领导层的科学决策提供依据。

基于LSF的网格计算目前已经成为了科研院所高性能计算的主流标准配置之一。

Appion是一种著名的开源单颗粒三维重构图像处理流水线系统，主要处理由冷冻电镜产生的大量结构生物图像。此系统利用基于网页，以及流水线和集成化的简单快速图像分析和解析、处理的配套机制，集成了大量电镜图像处理第三方软件，覆盖颗粒挑选、初始模型构建到三维模型修正诸多过程，能在最大限度内对操作过程进行全尘命周期的跟踪和记录，以便新课题的快速复用以及知识的便捷共享。

但目前在尘物学电镜三维重构方面，还没有相关的技术将LSF系统、Appion系统、冷冻电子显微镜相结合来进行三维重构，也没有一种有效的技术手段实现两者的有效沟通，也即无法实现无缝关联和高速传输。

发明内容

本发明的目的就是针对现有技术存在的问题，提出一种结合LSF系统、Appion系统和冷冻电子显微镜技术的三维重构系统，该系统能有效降低尘物样品电镜图像解析的工作强度，并有效提高结构尘物学电镜三维重构方法的研究效率。

一种新型三维重构系统包括Appion系统的工作流展现模块、数据指令转换模块、数据配置模块、LSF系统的网格作业队列模块、LSF系统调度库模块、LSF系统计费库模块及网络资源池模块；

所述Appion系统的工作流展现模块主要实现工作流程界面展示，同时用于Appion系统的参数进行设置；

所述数据指令转换模块主要实现将Appion系统的数据处理作业指令转换为LSF系统队列任务模型；

所述数据配置模块主要完成对Appion系统和LSF系统对接环境的具体设定，主要包括用户设置、作业队列的设置、网格资源池的连接属性设置；

所述LSF系统的网格作业队列模块主要负责接收来经数据指令转换模块转换的Appion系统的数据处理作业，同时，依照LSF调度库模块的策略对LSF系统队列任务模型进行调度管理，最后，将LSF系统队列任务模型的执行状态和结果信息返回给数据指令转换模块；

所述LSF系统调度库模块主要负责对Appion系统数据处理作业进行调度策略的管理；

所述LSF系统计费库模块负责完成对Appion系统数据处理作业进行计费管理，主要依据Appion系统数据处理作业的资源耗费和运行状态信息进行计费；

所述网络资源池模块负责执行Appion系统数据处理作业，并依照LSF系统的网格作业队列模块申请计算机资源的数量和LSF调度库模块的策略，调配空闲的网格资源对实际数据进行处理。

进一步的，所述数据指令转换模块能同时将2两个以上Appion系统的数据处理指令转换为LSF系统的队列任务处理模型，所述数据指令转换模块处理数据的数量与和网格资源池模块所包含资源的大小成正比。

进一步的，所述LSF系统网格作业队列模块能同时在网络资源池模块上调度多个LSF系统队列任务模型。

进一步的，所述LSF调度库模块的调度策略包括先来先到和小作业优先策略。

本发明的有益效果在于：本发明提出的一种新的基于LSF系统、Appion系统和冷冻电子显微镜技术实现三维重构的系统，该系统开创性地将基于Appion系统、冷冻电镜生物结构研究技术和基于LSF系统的网格计算技术三者有机结合在一起，形成一种新的冷冻电子显微镜三维重构技术，该技术的重要特点是三维重构的流水线技术的实现，该流水线技术能有效降低生物样品电镜图像解析的工作强度，并有效提高结构生物学电镜三维重构方法的研究效率。

附图说明

图1为本发明所述一种新型三维重构系统的框架说明图；

图2为本发明所述一种新型三维重构系统的数据处理流程示意图；

图3为本发明所述数据指令转换模块数据处理流程示意图。

具体实施方式

如图1所示，本发明所述的一种新型三维重构系统包括Appion系统的工作流展现模块、数据指令转换模块、数据配置模块、LSF系统的网格作业队列模块、LSF系统调度库模块、LSF系统计费库模块及网络资源池模块。其中：

所述Appion系统的工作流展现模块主要实现工作流程界面展示，同时用于Appion系统的参数进行设置；

所述数据指令转换模块主要实现将Appion系统的数据处理作业指令转换为LSF系统队列任务模型；

所述数据配置模块主要完成对Appion系统和LSF系统对接环境的具体设定，主要包括用户设置、作业队列的设置、网格资源池的连接属性设置；

所述LSF系统的网格作业队列模块主要负责接收来经数据指令转换模块转换的Appion系统的数据处理作业，同时，依照LSF调度库模块的策略对LSF系统队列任务模型进行调度管理，最后，将LSF系统队列任务模型的执行状态和结果信息返回给数据指令转换模块；

所述LSF系统调度库模块主要负责对Appion系统数据处理作业进行调度策略的管理；

所述LSF系统计费库模块负责完成对Appion系统数据处理作业进行计费管理，主要依据Appion系统数据处理作业的资源耗费和运行状态信息进行计费；

所述网络资源池模块负责执行Appion系统数据处理作业，并依照LSF系统的网格作业队列模块申请计算机资源的数量和LSF调度库模块的策略，调配空闲的网格资源对实际数据进行处理。

本发明所述的一种新型三维重构系统关键在于通过设计和实现Appion系统与LSF模块系统的互联互通，也就是本技术方案中提及的数据指令转换模块，将科研人员从事的Appion系统的数据处理工作自动转换成LSF异步任务指令，利用网格资源进行高速并行数据处理，并将任务结果反馈给科研人员。

如图2所示，本发明所述的一种新型三维重构系统的整体数据流程及步骤如下：

步骤一：启动Appion系统和LSF系统并初始化，用户Appion系统和LSF系统，同时搭建计算网格系统环境；

步骤二：在Appion系统中指定工作目录和处理工具；

步骤三：对Appion设置图像处理工具的相关参数；

步骤四：设置LSF队列相关参数；

步骤五：将Appion系统的数据处理工作自动转换成LSF系统异步任务指令并提交给LSF进行调度和执行；

步骤六：科研员或系统管理员对LSF系统队列的执行情况和状态进行实时监控；

步骤七：LSF系统任务完成并返回结果给科研员，本次任务会话完成。

如图3所示，本发明所述数据指令转换模块的工作流程图，也即将Appion系统的数据处理工作自动转换成LSF系统异步任务指令的工作流程为：

步骤一：加载一种新型三维重构系统的数据指令转换模块，并对建立Appion系统和LSF系统之间的协同工作环境；

步骤二：数据指令转换模块接收到科研员的特定数据处理任务指令，开启一个新的任务会话；

步骤三：数据指令转换模块加载LSF系统任务脚本的前缀等信息，并形成初始任务模板；所述前缀信息包括：bsub，#BSUB-a，#BSUB-e，#BSUB-o等；

步骤四：数据指令转换模块加载用户、环境变量和队列等信息到任务模板；

步骤五：数据指令转换模块加载用户数据、指令或程序、参数和资源申请等信息到任务模板；

步骤六：数据指令转换模块完成科研员本次数据处理的LSF系统任务清单的组装并提交给LSF系统进行调度和执行；

步骤七：基于bjobs方式返回LSF系统的处理状态和结果给科研员。

利用本发明所述的一种新型三维重构系统实现三维重构的过程为：冷冻电子显微镜按照科研员的操作对指定生物样品进行原始图像的拍摄，拍摄后的图像由本发明所述一种新型三维重构系统进行分发处理以得到相应结。具体的为图像是由Appion系统的数据处理工作自动转换成LSF系统异步任务指令并提交给LSF系统进行调度和执行。

LSF系统的执行包括：对原始图像进行样品大分子颗粒图像的挑选，去除质量低下的图像；基于筛选过的颗粒图像进行二维分类和平均等计算处理；构建该生物样品大分子的初始三维模型；修正模型各种参数设置，并进行迭代、收敛和求精等计算处理；获取该生物样品大分子的最终三维模型。

Claims (4)

1.一种新型三维重构系统，其特征在于：所述的三维重构系统包括Appion系统的工作流展现模块、数据指令转换模块、数据配置模块、LSF系统的网格作业队列模块、LSF系统调度库模块、LSF系统计费库模块及网络资源池模块；

所述Appion系统的工作流展现模块主要实现工作流程界面展示，同时用于Appion系统的参数进行设置；

所述数据指令转换模块主要实现将Appion系统的数据处理作业指令转换为LSF系统队列任务模型；

所述数据配置模块主要完成对Appion系统和LSF系统对接环境的具体设定，主要包括用户设置、作业队列的设置、网格资源池的连接属性设置；

所述LSF系统的网格作业队列模块主要负责接收来经数据指令转换模块转换的Appion系统的数据处理作业，同时，依照LSF调度库模块的策略对LSF系统队列任务模型进行调度管理，最后，将LSF系统队列任务模型的执行状态和结果信息返回给数据指令转换模块；

所述LSF系统调度库模块主要负责对Appion系统数据处理作业进行调度策略的管理；

所述LSF系统计费库模块负责完成对Appion系统数据处理作业进行计费管理，主要依据Appion系统数据处理作业的资源耗费和运行状态信息进行计费；

所述网络资源池模块负责执行Appion系统数据处理作业，并依照LSF系统的网格作业队列模块申请计算机资源的数量和LSF调度库模块的策略，调配空闲的网格资源对实际数据进行处理。

2.如权利要求1所述的一种新型三维重构系统，其特征在于：所述数据指令转换模块能同时将2两个以上Appion系统的数据处理指令转换为LSF系统的队列任务处理模型，所述数据指令转换模块处理数据的数量与和网格资源池模块所包含资源的大小成正比。

3.如权利要求1所述的一种新型三维重构系统，其特征在于：所述LSF系统网格作业队列模块能同时在网络资源池模块上调度多个LSF系统队列任务模型。

4.如权利要求1所述的一种新型三维重构系统，其特征在于：所述LSF调度库模块的调度策略包括先来先到和小作业优先策略。