CN111966644A - 超级计算机数据存储方法、装置、系统及存储介质 - Google Patents
超级计算机数据存储方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN111966644A CN111966644A CN202010808430.1A CN202010808430A CN111966644A CN 111966644 A CN111966644 A CN 111966644A CN 202010808430 A CN202010808430 A CN 202010808430A CN 111966644 A CN111966644 A CN 111966644A
- Authority
- CN
- China
- Prior art keywords
- data
- storage space
- storage
- user
- supercomputer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 383
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013500 data storage Methods 0.000 title claims description 51
- 230000010354 integration Effects 0.000 claims description 43
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007877 drug screening Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 238000000302 molecular modelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种超级计算机数据存储方法、装置、系统及存储介质，所述方法包括：获取用户使用超级计算机产生的用户数据；确定所述用户数据的数据类型；将所述用户数据存储至所述数据类型对应的第一存储空间。本发明实施例根据用户数据的不同数据类型预先设置存储路径，从而使得不同数据类型的用户存储于不同的存储空间中，提高了超级计算机系统的存储空间的可管理性，减少了存储空间的浪费，提高了存储空间的利用率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种超级计算机数据存储方法、装置、系统及存储介质。
背景技术
与普通计算机相比，超级计算机系统能够实现更大数据量的处理与更高速度的运算，因此，超级计算机系统已成为高科技发展必不可少的要素。超级计算机系统庞大，使用超级计算机系统的用户也来自各行各业，人员众多，用户在使用超级计算机系统时会产生大量的数据，不同的数据对存储的需求是不一样的。
在使用超级计算机的过程中，用户的数据量庞大，为了存储大量的数据，超级计算机系统一般会配置一个海量数据共享存储系统来存放这些数据。为了对这些数据进行管理，在共享存储上，都会搭建一个网络并行文件系统，例如：Lustre，GPFS(GeneralParallel File System，通用并行文件系统)，ParaStor等等。要达到集群各个节点都能访问到这些数据，进行并行计算，该海量共享存储系统会通过网络挂载到各个节点，使得各个节点访问共享存储的数据，就像访问本地磁盘目录的数据一样。现在的海量数据共享存储系统由于比较庞大，为了提升存储系统内部的容错性，在存储系统的各个环节采用不同的容错技术。例如：核心网络链路容错采用双链路，磁盘容错采用了RAID(Redundant Arraysof Independent Disks，磁盘阵列)技术或副本技术，保证磁盘损坏时数据不丢失。
但是在使用过程中，共享存储系统包含的设备较多，如硬盘、网卡、存储卡、存储内部交换机、存储控制器等等，众多的硬件设备零部件、复杂的文件系统、海量的数据和持续性的高IO文件读写，导致在实际应用过程中，并不能确保共享存储的可用率在一年内达到100％。此外，若共享存储系统故障，将会导致整个系统业务中断，用户无法使用超算系统资源。同时若存储故障导致核心数据丢失，将给用户造成巨大损失。
发明内容
有鉴于此，本发明实施例提供一种超级计算机数据存储方法、装置、系统及存储介质，以实现对超级计算机的数据进行分类存储，减少存储空间的浪费，提高存储空间的利用率，提高超级计算机系统运行的稳定性。
第一方面，本发明实施例提供一种超级计算机数据存储方法，包括：
获取用户使用超级计算机产生的用户数据；
根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
进一步的，所述用户数据包括核心数据、中间数据、一般数据和其他数据，所述根据预设存储路径将所述用户数据存储至对应的存储空间包括：
根据预设核心数据存储路径将核心数据存储至超算集成的第一存储空间，并将所述核心数据备份至备用存储设备的第二存储空间。
进一步的，所述将所述核心数据备份至备用存储设备的第二存储空间包括：
在专用备份节点上，通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间。
进一步的，所述通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间包括：
确定所述核心数据与备用存储设备的第二存储空间中的历史数据是否相同；
若所述核心数据与备用存储设备的第二存储空间中的历史数据不相同，则将所述核心数据备份至所述备用存储设备的第二存储空间。
进一步的，所述超算集成的第一存储空间与所述备用存储设备的第二存储空间具有相同的并行文件系统。
进一步的，所述方法还包括：
确定所述超算集成的第一存储空间是否发生异常；
若所述超算集成的第一存储空间发生异常，则卸载所述第一存储空间并挂载所述第二存储空间，以使用户作业根据所述第二存储空间的数据继续进行运算。
进一步的，所述方法还包括：
确定发生异常后的超算集成的第一存储空间是否恢复正常；
若发生异常后的超算集成的第一存储空间恢复正常，则将在所述超算集成的第一存储空间发生异常的时间段内所述备用存储设备的第二存储空间存储的核心数据同步到所述超算集成的第一存储空间；
当核心数据同步完成后，卸载所述第二存储空间并挂载所述第一存储空间，以使用户作业基于所述第一存储空间继续运算。
第二方面，本发明实施例提供一种超级计算机数据存储装置，包括：
数据获取模块，用于获取用户使用超级计算机产生的用户数据；
数据存储模块，用于根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
第三方面，本发明实施例提供一种超级计算机系统，所述超级计算机系统包括：
一个或多个处理器；
存储装置，用于存储数据以及一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的超级计算机数据存储方法。
第四方面，本发明实施例提供一种运算机可读存储介质，其上存储有运算机程序，该程序被处理器执行时实现本发明任意实施例提供的超级计算机数据存储方法。
本发明实施例实现了根据用户数据的不同数据类型预先设置存储路径，从而使得不同数据类型的用户存储于不同的存储空间中，提高了超级计算机系统的存储空间的可管理性，减少了存储空间的浪费，提高了存储空间的利用率。此外，由于用户核心数据在生产环境的第一存储空间和备用第二存储空间都存有一份，并且保证了数据的一致性，在第一存储空间出现故障的时候，备用第二存储空间可以接替使用，减少了用户因为存储故障而无法使用系统的时间，从而提高了超级计算机系统运行的稳定性。
附图说明
图1为本发明实施例一提供的一种超级计算机数据存储方法的流程示意图；
图2为本发明实施例二提供的一种超级计算机数据存储方法的流程示意图；
图3为本发明实施例三提供的一种超级计算机数据存储方法的流程示意图；
图4为本发明实施例四提供的一种超级计算机数据存储装置的结构示意图；
图5为本发明实施例五提供的一种超级计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一存储空间称为第二存储空间，且类似地，可将第二存储空间称为第一存储空间。第一存储空间和第二存储空间两者都是存储空间，但其不是同一存储空间。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种超级计算机数据存储方法的流程示意图，本实施例可适用于超级计算机系统的数据存储。如图1所示，本发明实施例一提供的超级计算机数据存储方法包括：
S110、获取用户使用超级计算机产生的用户数据。
具体的，超级计算机(Super computer)是一种能够执行一般个人电脑无法处理的大资料量与高速运算的电脑。超级计算机在众多领域中发挥着重要作用，包括药物筛选、生物医药、天气预报、气候研究、油气勘探、分子建模(计算结构和属性)化学化合物、生物大分子和物理模拟(例如宇宙早期模拟，飞机和航天器的空气动力学，核武器的爆炸以及核聚变)。超级计算机在人工智能和大数据分析领域特至关重要。
用户在使用超级计算机系统过程中的数据都称为用户数据，如，用户使用超级计算机系统进行运算而产生的运算数据、用户使用超级计算机系统进行编译而产生的代码数据等。
S120、根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
具体的，预设存储路径是预先根据用户数据的数据类型设定的存储路径。本实施例中，用户预先对数据进行分类，并根据不同的数据类型设置不同的存储路径，也就是将不同数据类型的数据存储到不同的存储空间中。
进一步的，用户数据有四种类型，包括核心数据、中间数据、一般数据和其他数据。核心数据是用户数据中最为重要的数据，用户的一些对超级计算机系统进行一些操作都基于核心数据而进行，例如，用户的环境变量数据、源代码数据、应用软件数据、数学库数据、数据模型的初始数据、运算结果数据和其他用户认为比较重要的数据，为了安全起见，核心数据通常需要备份。用户作业(用户作业是指用户使用超级计算机系统进行的运算任务)在运算的过程中，会使用或产生的大量数据，这些数据只是用于得出运算结果，运算结束之后并不会再用到，这种数据称之为中间数据，中间数据通常数据量比较大，若进行长期存储，则会占用较大的存储空间。一般数据是指一些不能删除但是也无需备份的数据，若不小心删除了一般数据或一般数据丢失，还可以通过用户作业的运算得到。其他数据则是除核心数据、中间数据和一般数据之外的数据，如说明文档之类的数据。
进一步的，不同的数据类型的用户数据对应不同的预设存储路径，也即不同数据类型的用户数据对应不同的存储空间。根据用户数据的分类，存储空间至少包括：预设核心存储空间、预设通用存储空间和预设不限额存储空间。相应的，预设存储路径包括：预设核心数据存储路径、预设通用数据存储路径和预设中间数据存储路径，其中，预设核心数据存储路径指向预设核心存储空间，预设通用数据存储路径指向预设通用存储空间，预设中间数据存储路径指向预设不限额存储空间。相应的，根据预设存储路径将所述用户数据存储至对应的存储空间包括：根据预设核心数据存储路径将核心数据存储至预设核心存储空间；和/或，根据预设通用数据存储路径将一般数据和其他数据存储至预设通用存储空间；和/或，根据预设中间数据存储路径将中间数据存储至预设不限额存储空间。预设核心存储空间可以命名为work，用于存放核心数据，要求用户的home目录要设置在work目录下，用户的软件安装全都部署在work，预设核心存储空间的容量可以设置为1～3TB。
预设通用存储空间可以命名为data，用于存放一般数据和其他数据，预设通用存储空间的容量可以设置为8～10TB，此外，预设通用存储空间还支持容量扩充，用户可以通过付费方式来扩大预设通用存储空间的容量。
预设不限额存储空间可以命名为scratch，用于存放数据量较大的中间数据，当预设核心存储空间和预设通用存储空间内存储的数据容量即将达到限额时，用户也可以使用预设不限额存储空间临时存放核心数据和运算数据，此外，预设不限额存储空间的容量不设限额，但是预设不限额存储空间内存储的数据会有时间要求，即预设不限额存储空间内存储的数据会定期清理。
进一步的，还可以根据数据量的大小来选择对应的存储空间，当中间数据的数据量较小时，可以直接使用预设核心存储空间和预设通用存储空间存放中间数据；当中间数据的数据量较大时，使用预设不限额存储空间存放中间数据。例如，预设核心存储空间设为1TB，预设通用存储空间设为8TB，Gaussian(高斯)运算的过程中产生了10TB的中间数据，这时可使用预设不限额存储空间存放中间数据。
本发明实施例一提供的超级计算机数据存储方法根据用户数据的不同数据类型预先设置存储路径，从而使得不同数据类型的用户存储于不同的存储空间中，提高了超级计算机系统的存储空间的可管理性，减少了存储空间的浪费，提高了存储空间的利用率。
实施例二
图2为本发明实施例二提供的一种超级计算机数据存储方法的流程示意图，本实施例是对上述实施例的进一步细化。如图2所示，本发明实施例二提供的超级计算机数据存储方法包括：
S210、获取用户使用超级计算机产生的核心数据。
具体的，核心数据是用户数据中最为重要的数据，用户的一些对超级计算机系统进行一些操作都基于核心数据而进行，例如，用户的环境变量数据、源代码数据、应用软件数据、数学库数据、数据模型的初始数据、运算结果数据和其他用户认为比较重要的数据，为了安全起见，核心数据通常需要备份。
S220、根据预设核心数据存储路径将所述核心数据存储至超算集成的第一存储空间，并将所述核心数据备份至备用存储设备的第二存储空间。
具体的，超算集成的第一存储空间是指超级计算机系统本身所集成的能够存储海量数据的共享存储系统，通常也称作超级计算机系统生产环境的存储空间。备用存储设备的第二存储空间是指与超算集成的第一存储空间不同的另外一套硬件存储设备。该备用存储设备的第二存储空间与超算集成的第一存储空间具有相同的并行文件系统，从而使得第一存储空间所对应的超级计算机系统能够访问和调用存储到第二存储空间中的数据。本实施例中，超算集成的第一存储空间的总容量远远大于备用存储设备的第二存储空间的总容量，优选的，备用存储设备的第二存储空间的总容量为超算集成的第一存储空间的总容量的十分之一，例如，超算集成的第一存储空间的总容量为5PB，备用存储设备的第二存储空间的总容量为500TB。
并行文件系统是应用于多机环境的网络文件系统，多台主机上并行读写一套文件系统，每个主机有单独的CPU和内存，单个数据采用分条等形式存放于不同的I/O节点之上，支持多机多个进程的并发存取，并提供单一的目录空间。在此模式下，所有主机均可通过本机I/O对所有的文件进行读写操作。并行文件系统具有分布式、高性能、高扩展等特点，在超级计算机系统中被广泛应用。
优选的，超算集成的第一存储空间为预设核心存储空间。核心数据是非常重要的数据，将其存储至超算集成的第一存储空间的核心存储空间中，也就是work目录下。进一步的，为了防止第一存储空间发生异常时导致核心数据丢失，在将核心数据存储至第一存储空间的同时，还将核心数据存储至备用存储设备的第二存储空间，即在备用存储设备的第二存储空间中对核心数据做了备份。
一般的，使用超级计算机系统的用户通常以组为单位，每个组包括多个用户，为了降低核心数据所占用的存储空间，同时减轻后续进行数据备份的压力，可以对每个组以及每个用户的存储空间可用容量进行限制，例如，每个组的核心存储空间的容量为1TB，每个用户能够使用的核心存储空间的容量为500GB，这样可以促使用户尽量减少核心数据的量，从而降低核心数据的存储空间。
进一步的，一种将所述核心数据备份至备用存储设备的第二存储空间的方法包括：在专用备份节点上，通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间。一套存储系统往往有多个存储节点，专用备份节点是指备用存储设备上的存储节点。增量备份策略是指每次备份的数据是有变化的数据，对备份过的数据不进行重复备份，这种备份方式使得备份的数据量减少，备份速度更快。
进一步的，一种增量备份数据的方法包括：确定所述核心数据与备用存储设备的第二存储空间中的历史数据是否相同；若所述核心数据与备用存储设备的第二存储空间中的历史数据不相同，则将所述核心数据备份至所述备用存储设备的第二存储空间。即，确定当前要进行备份的核心数据是否与备用存储设备的第二存储空间中的历史数据相同，若相同，则说明当前要进行备份的核心数据此前已经在备用存储设备的第二存储空间中进行过备份，且该核心数据没有进行变动，那么就不对其进行备份；若不相同，则说明当前要进行备份的核心数据是新产生的核心数据，或者是此前在备用存储设备的第二存储空间中备份的数据变更后产生的数据，那么需要对其进行备份，将其存储至备用存储设备的第二存储空间中。需要说明的是，在进行首次备份时，需要对所有的核心数据进行全备份，在后续的备份过程使用增量备份策略。
进一步的，在对核心数据进行增量备份时，可以根据实际情况选择备份周期，例如，每小时备份一次，每两天备份一次等。优选的，本实施例中采用每天进行一备份的备份周期，该备份周期适中，既避免了频繁备份增加设备消耗，又使得超算集成的第一存储空间和备用存储设备的第二存储空间的核心数据每天都能同步。
本发明实施例二提供的超级计算机数据存储方法不仅将核心数据存储至超算集成的第一存储空间，还通过备用存储设备的第二存储空间对核心数据进行了备份，有效地防止了数据的丢失且保证了数据的一致性，并在第一存储空间异常时可通过第二存储空间调用相关数据，即备用存储可以顶替使用，减少了用户因为存储故障而无法使用系统的时间，提高了超级计算机系统运行的稳定性，保障了业务的连续性。此外，通过增量备份策略消除了核心数据的重复备份，提高了第二存储空间的利用率和数据备份速度。
实施例三
图3为本发明实施例三提供的一种超级计算机数据存储方法的流程示意图，本实施例是对上述实施例的进一步优化。如图3所示，本发明实施例三提供的超级计算机数据存储方法包括：
S310、获取用户使用超级计算机产生的核心数据。
S320、根据预设核心数据存储路径将所述核心数据存储至超算集成的第一存储空间，并将所述核心数据备份至备用存储设备的第二存储空间。
S330、确定所述超算集成的第一存储空间是否发生异常。
S340、若所述超算集成的第一存储空间发生异常，则卸载所述第一存储空间并挂载所述第二存储空间，以使用户作业根据所述第二存储空间的数据继续进行运算。
具体的，当超算集成的第一存储空间发生异常时，例如磁盘柜控制器故障等，超算集成的第一存储空间不能使用，此时卸载第一存储空间，并使用备用存储设备的第二存储空间顶替超算集成的第一存储空间，即将第二存储空间挂载到超级计算机系统的相关节点(如计算节点)下，从而使得超级计算机系统的相关节点总是有一个正常运行的存储系统。由于此前一直将第一存储空间的核心数据在第二存储空间中进行了备份，当卸载了第一存储空间并挂载第二存储空间后，用户作业仍然可以基于第二存储空间中的数据继续进行运算，这样就不会使用户作业中断，提高超级计算机系统运行的稳定性。挂载第二存储空间后，用户作业继续运算产生的核心数据自然存储至备用存储设备的第二存储空间。
一般的，如果超级计算机系统只使用超算集成的第一存储空间对核心数据进行存储，若超算集成的第一存储空间发生故障不能使用，那么用户作业的运算就会中断，而超算集成的第一存储空间的复杂性导致修复往往要花费大量时间，如一天到一个月不等，这样就会造成用户作业运算长时间中断，用户损失巨大。
本实施例中，在超算集成的第一存储空间发生异常时使用备用存储设备的第二存储空间顶替生产，由于备用存储设备的第二存储空间的总容量远小于超算集成的第一存储空间的总容量，且二者的核心数据同步，因此可以进行快速的切换而不会造成数据混乱，这样就使用户作业不至于被迫长时间中断，在短时间内(如半小时内)就可以使超级计算机系统继续稳定运行。
S350、确定发生异常后的超算集成的第一存储空间是否恢复正常。
S360、若发生异常后的超算集成的第一存储空间恢复正常，则在所述超算集成的第一存储空间发生异常的时间段内将所述备用存储设备的第二存储空间存储的核心数据同步到所述超算集成的第一存储空间。
具体的，在超算集成的第一存储空间发生异常的时间段内，也就是备用存储设备的第二存储空间顶替生产的这一时间段内，超级计算机系统运行产生的核心数据直接存储在备用存储设备的第二存储空间中，当第一存储设备恢复正常后，需要将这一时间段内存储的核心数据同步到超算集成的第一存储空间，以使超算集成的第一存储空间存储的核心数据保持完整。
S370、当核心数据同步完成后，卸载所述第二存储空间并挂载所述第一存储空间，以使用户作业基于所述第一存储空间继续运算。
具体的，由于第二存储空间是备用存储空间，其存储容量有限，小于第一存储空间的存储容量，故不能长时间使用第二存储空间作为用户作业运算的直接存储空间。因此，当发生异常后的超算集成的第一存储空间恢复正常后，卸载第二存储空间，即将备用存储设备的第二存储空间换下，挂在第一存储空间，使超级计算机系统继续使用其本身所集成的存储空间，用户作业便可基于第一存储空间继续运算。
本发明实施例三提供的超级计算机数据存储方法在超算集成的第一存储空间发生异常时使用备用存储设备的第二存储空间顶替生产，实现了在短时间内恢复超级计算机系统的稳定运行，使得超级计算机系统的业务运行不会长时间中断，提高了超级计算机系统运行的稳定性，减少因超算集成的第一存储空间发生异常而造成的用户损失。并且，当超算集成的第一存储空间恢复后，将备用存储设备的第二存储空间临时顶替生产存储的核心数据同步到超算集成的第一存储空间，使超算集成的第一存储空间存储的核心数据保持完整，不影响超级计算机系统的稳定运行。
实施例四
图4为本发明实施例四提供的一种超级计算机数据存储装置的结构示意图，本实施例可适用于超级计算机系统的数据存储。本发明实施例四提供的超级计算机数据存储装置可以实现本发明任意实施例提供的超级计算机数据存储方法，具备实现方法的相应功能结构和有益效果，本实施例中未详尽描述的内容可参考本发明任意方法实施例的描述。
如他图4所示，本发明实施例四提供的超级计算机数据存储装置包括：数据获取模块410和数据存储模块420。
数据获取模块410用于获取用户使用超级计算机产生的用户数据；
数据存储模块420用于根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
进一步的，所述用户数据包括核心数据、中间数据、一般数据和其他数据，数据存储模块420包括：核心数据存储单元，用于根据预设核心数据存储路径将所述核心数据存储至超算集成的第一存储空间，并将所述核心数据备份至备用存储设备的第二存储空间。
进一步的，所述核心数据存储单元具体用于：在专用备份节点上，通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间。
进一步的，所述核心数据存储单元还用于：
确定所述核心数据与备用存储设备的第二存储空间中的历史数据是否相同；
若所述核心数据与备用存储设备的第二存储空间中的历史数据不相同，则将所述核心数据备份至所述备用存储设备的第二存储空间。
进一步的，所述超算集成的第一存储空间与所述备用存储设备的第二存储空间具有相同的并行文件系统。
进一步的，还包括：
异常确定单元，用于确定所述超算集成的第一存储空间是否发生异常；
第二存储空间挂载单元，用于若所述超算集成的第一存储空间发生异常，则卸载所述第一存储空间并挂载所述第二存储空间，以使用户作业根据所述第二存储空间的数据继续进行运算。
进一步的，还包括：
异常恢复确定单元，用于确定发生异常后的超算集成的第一存储空间是否恢复正常；
数据同步单元，用于若发生异常后的超算集成的第一存储空间恢复正常，则将在所述超算集成的第一存储空间发生异常的时间段内所述备用存储设备的第二存储空间存储的核心数据同步到所述超算集成的第一存储空间；
第一存储空间挂载单元，用于当核心数据同步完成后，卸载所述第二存储空间并挂载所述第一存储空间，以使用户作业基于所述第一存储空间继续运算。
本发明实施例四提供的超级计算机数据存储装置根据用户数据的不同数据类型预先设置存储路径，从而使得不同数据类型的用户存储于不同的存储空间中，提高了超级计算机系统的存储空间的可管理性，减少了存储空间的浪费，提高了存储空间的利用率。此外，由于用户核心数据在生产环境的第一存储空间和备用第二存储空间都存有一份，并且保证了数据的一致性，在第一存储空间出现故障的时候，备用第二存储空间可以接替使用，减少了用户因为存储故障而无法使用系统的时间，从而提高了超级计算机系统运行的稳定性。
实施例五
图5是本发明实施例五提供的一种超级计算机系统的结构示意图。图5示出了适于用来实现本发明实施方式的示例性超级计算机系统512(以下简称系统512)的框图。图5显示的系统512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，系统512以通用系统的形式表现。系统512的组件可以包括但不限于：一个或者多个处理器516(图5中以一个处理器为例)，存储装置528，连接不同系统组件(包括存储装置528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
系统512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被系统512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)530和/或高速缓存存储器532。系统512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储装置528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
系统512也可以与一个或多个外部设备514(例如键盘、指向终端、显示器524等)通信，还可与一个或者多个使得用户能与该系统512交互的终端通信，和/或与使得该系统512能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，系统512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器520通过总线518与系统512的其它模块通信。应当明白，尽管图中未示出，可以结合系统512使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储装置528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的超级计算机数据存储方法，该方法可以包括：
获取用户使用超级计算机产生的用户数据；
根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的超级计算机数据存储方法，该方法可以包括：
获取用户使用超级计算机产生的用户数据；
根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种超级计算机数据存储方法，其特征在于，包括：
获取用户使用超级计算机产生的用户数据；
根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
2.如权利要求1所述的方法，其特征在于，所述用户数据包括核心数据、中间数据、一般数据和其他数据，所述根据预设存储路径将所述用户数据存储至对应的存储空间包括：
根据预设核心数据存储路径将所述核心数据存储至超算集成的第一存储空间，并将所述核心数据备份至备用存储设备的第二存储空间。
3.如权利要求2所述的方法，其特征在于，所述将所述核心数据备份至备用存储设备的第二存储空间包括：
在专用备份节点上，通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间。
4.如权利要求3所述的方法，其特征在于，所述通过增量备份策略将所述核心数据备份至备用存储设备的第二存储空间包括：
确定所述核心数据与备用存储设备的第二存储空间中的历史数据是否相同；
若所述核心数据与备用存储设备的第二存储空间中的历史数据不相同，则将所述用户数据备份至所述备用存储设备的第二存储空间。
5.如权利要求2所述的方法，其特征在于，所述超算集成的第一存储空间与所述备用存储设备的第二存储空间具有相同的并行文件系统。
6.如权利要求2所述的方法，其特征在于，所述方法还包括：
确定所述超算集成的第一存储空间是否发生异常；
若所述超算集成的第一存储空间发生异常，则卸载所述第一存储空间并挂载所述第二存储空间，以使用户作业根据所述第二存储空间的数据继续进行运算。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
确定发生异常后的超算集成的第一存储空间是否恢复正常；
若发生异常后的超算集成的第一存储空间恢复正常，则在所述超算集成的第一存储空间发生异常的时间段内将所述备用存储设备的第二存储空间存储的核心数据同步到所述超算集成的第一存储空间；
当核心数据同步完成后，卸载所述第二存储空间并挂载所述第一存储空间，以使用户作业基于所述第一存储空间继续运算。
8.一种超级计算机数据存储装置，其特征在于，包括：
数据获取模块，用于获取用户使用超级计算机产生的用户数据；
数据存储模块，用于根据预设存储路径将所述用户数据存储至对应的存储空间，其中，所述预设存储路径根据所述用户数据的数据类型设置。
9.一种超级计算机系统，其特征在于，所述超级计算机系统包括：
一个或多个处理器；
存储装置，用于存储数据以及一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的超级计算机数据存储方法。
10.一种超级计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的超级计算机数据存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010808430.1A CN111966644A (zh) | 2020-08-12 | 2020-08-12 | 超级计算机数据存储方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010808430.1A CN111966644A (zh) | 2020-08-12 | 2020-08-12 | 超级计算机数据存储方法、装置、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111966644A true CN111966644A (zh) | 2020-11-20 |
Family
ID=73365861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010808430.1A Pending CN111966644A (zh) | 2020-08-12 | 2020-08-12 | 超级计算机数据存储方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966644A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201119A (zh) * | 2022-02-17 | 2022-03-18 | 天津市天河计算机技术有限公司 | 一种超级计算机作业数据分层存储系统及方法 |
| CN115242806A (zh) * | 2022-06-14 | 2022-10-25 | 山东省计算中心（国家超级计算济南中心） | 一种在超算互联网中超算中心数据备份的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
| CN102170460A (zh) * | 2011-03-10 | 2011-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统及其数据存储方法 |
| CN103176860A (zh) * | 2011-12-21 | 2013-06-26 | 腾讯科技（深圳）有限公司 | 数据备份方法和系统 |
| CN109460426A (zh) * | 2018-11-05 | 2019-03-12 | 郑州云海信息技术有限公司 | 一种基于MongoDB的分级存储的系统及方法、路由节点 |
| US20190384679A1 (en) * | 2018-06-13 | 2019-12-19 | EMC IP Holding Company LLC | Advanced multiple backup recovery |
| CN111210879A (zh) * | 2020-01-06 | 2020-05-29 | 中国海洋大学 | 一种用于超大规模药物数据的分级存储优化方法 |
-
2020
- 2020-08-12 CN CN202010808430.1A patent/CN111966644A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
| CN102170460A (zh) * | 2011-03-10 | 2011-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统及其数据存储方法 |
| CN103176860A (zh) * | 2011-12-21 | 2013-06-26 | 腾讯科技（深圳）有限公司 | 数据备份方法和系统 |
| US20190384679A1 (en) * | 2018-06-13 | 2019-12-19 | EMC IP Holding Company LLC | Advanced multiple backup recovery |
| CN109460426A (zh) * | 2018-11-05 | 2019-03-12 | 郑州云海信息技术有限公司 | 一种基于MongoDB的分级存储的系统及方法、路由节点 |
| CN111210879A (zh) * | 2020-01-06 | 2020-05-29 | 中国海洋大学 | 一种用于超大规模药物数据的分级存储优化方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201119A (zh) * | 2022-02-17 | 2022-03-18 | 天津市天河计算机技术有限公司 | 一种超级计算机作业数据分层存储系统及方法 |
| CN114201119B (zh) * | 2022-02-17 | 2022-05-13 | 天津市天河计算机技术有限公司 | 一种超级计算机作业数据分层存储系统及方法 |
| CN115242806A (zh) * | 2022-06-14 | 2022-10-25 | 山东省计算中心（国家超级计算济南中心） | 一种在超算互联网中超算中心数据备份的方法及装置 |
| CN115242806B (zh) * | 2022-06-14 | 2023-09-29 | 山东省计算中心（国家超级计算济南中心） | 一种在超算互联网中超算中心数据备份的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103019888B (zh) | 备份方法与装置 | |
| CN102782639B (zh) | 使复制目标能够回收瘦供给存储系统上未使用的存储空间的系统和方法 | |
| CN102959518B (zh) | 把文件系统恢复到目标存储器的计算机执行的方法和系统 | |
| US8949182B2 (en) | Continuous and asynchronous replication of a consistent dataset | |
| US8495413B2 (en) | System and method for providing a computer standby node | |
| US8825602B1 (en) | Systems and methods for providing data protection in object-based storage environments | |
| EP2318927B1 (en) | Systems and methods for tracking changes to a volume | |
| JP6444400B2 (ja) | セカンダリ・コンピュータ中のメモリ・エラーに応じたプライマリ・コンピュータ中のオブジェクトの移動 | |
| CN110188000A (zh) | 基于虚拟化以及iSCSI或FC的应用容灾方法及系统 | |
| CN101398770A (zh) | 迁移一个或多个虚拟机的系统和方法 | |
| WO2010053699A2 (en) | Lightweight application-level runtime state save-and-restore utility | |
| WO2012072411A1 (en) | Snapshot based replication | |
| US20170090793A1 (en) | Devices and methods for a data storage device | |
| CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
| US20120198269A1 (en) | Method and apparatus for application recovery in a file system | |
| CN111966644A (zh) | 超级计算机数据存储方法、装置、系统及存储介质 | |
| CN115098299B (zh) | 一种虚拟机的备份方法、容灾方法、装置及设备 | |
| US9003139B1 (en) | Systems and methods for recovering virtual machines after disaster scenarios | |
| US8990815B1 (en) | Synchronizing allocated blocks of virtual disk files across primary and secondary volumes by excluding unused blocks | |
| US9251020B1 (en) | Systems and methods for file-level replication | |
| US8595271B1 (en) | Systems and methods for performing file system checks | |
| US9110965B1 (en) | Systems and methods for disaster recovery from binary large objects | |
| CN116501264B (zh) | 一种数据存储方法、装置、系统、设备及可读存储介质 | |
| CN111475334A (zh) | TiDB数据库的维护方法、装置、计算机设备及存储介质 | |
| CN104951528A (zh) | 一种数据迁移的方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |