CN106777238A - 一种hdfs分布式文件系统的自适应容错调节方法 - Google Patents

一种hdfs分布式文件系统的自适应容错调节方法 Download PDF

Info

Publication number
CN106777238A
CN106777238A CN201611224890.XA CN201611224890A CN106777238A CN 106777238 A CN106777238 A CN 106777238A CN 201611224890 A CN201611224890 A CN 201611224890A CN 106777238 A CN106777238 A CN 106777238A
Authority
CN
China
Prior art keywords
node
task
fault
intermediate data
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611224890.XA
Other languages
English (en)
Other versions
CN106777238B (zh
Inventor
徐维祥
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201611224890.XA priority Critical patent/CN106777238B/zh
Publication of CN106777238A publication Critical patent/CN106777238A/zh
Application granted granted Critical
Publication of CN106777238B publication Critical patent/CN106777238B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开一种HDFS分布式文件系统自适应容错调节方法，包括：S1：初始化系统，获取主节点与从节点的心跳信息，获取节点间的节点间连通信息；S2：建立中间数据存储器，接入HDFS主节点与所有从节点连通，备份与恢复各节点的中间数据；S3：进行自适应故障诊断；S4：调用任务容错调节阶段流程；S5：根据情况选择调用节点容错调节阶段流程；S6：根据情况选择调用线路容错调节阶段流程。本发明基于具有良好容错能力的HDFS分布式文件系统，通过设计中间数据恢复机制，大大提高了中断任务再执行的运行效率。

Description

一种HDFS分布式文件系统的自适应容错调节方法
技术领域
本发明涉及分布式存储技术领域。更具体地，涉及一种HDFS分布式文件系统的自适应容错调节方法。
背景技术
分布式文件系统(Distributed File System,HDFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等，各自适用于不同的领域。
HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。
云计算的核心理念是集结大批量低配置的服务器节点通过虚拟化技术和高速网络连接构成的一个大的资源池。然而，随着数据量的增长和集群节点规模的扩大，使得服务器发生故障的几率也大大增加。根据Google在2006年发布的一项报告指出，在项目执行过程中，平均每个作业的执行会有5个工作节点宕机，在4000台机器上组成的集群上运行6个小时的作业至少有一个磁盘损坏。国内外对于解决集群系统容错问题的关键技术主要是故障检测、冗余备份和错误恢复等。核心思想是利用转储的方式把执行过程中的计算信息或数据保存到稳定的存储器上，尽可能早到发现集群故障，一旦出现任务失败或者节点失败，能够及时地做出相应的数据和计算迁移操作，保证系统的连续运行和计算的可靠性。
因此，需要提供一种HDFS分布式文件系统的自适应容错调节方法。
发明内容
本发明的目的在于提出一种分布式存储系统的自适应容错机制，用于提高分布式存储系统的容错能力与故障条件下节点任务执行速度。
为达到上述目的，本发明采用下述技术方案：
一种HDFS分布式文件系统的自适应容错调节方法，该方法包括以下步骤：
S1：初始化系统，获取主节点与从节点的心跳信息，获取节点间的节点间连通信息；
S2：建立中间数据存储器，接入HDFS主节点与所有从节点连通，备份与恢复各节点的中间数据；
S3：进行自适应故障诊断；
S4：调用任务容错调节阶段流程；
S5：根据情况选择调用节点容错调节阶段流程；
S6：根据情况选择调用线路容错调节阶段流程。
优选地，初始化系统包括对故障任务列表、通信故障查修列表、故障节点列表和节点库进行初始化。
优选地，使用具有高数据IO速度和可靠性的硬件设备组成高可靠性中间数据IO集群存储器作为中间数据存储器。
优选地，自适应故障诊断通过主节点运行故障自诊断模块监视HDFS的运行情况，根据心跳信息与节点间连通信息判断故障种类。
优选地，步骤S2中，中间数据存储器备份中间数据具体包括以下步骤：
S201：通过HDFS系统任务监视器，获取任务完成进度百分比；
S202：在每个节点任务完成至该任务的25％、50％和75％时，设置检查点；
S203：进行任务的中间数据备份，将所得结果与对应任务的百分比发送至中间数据存储器完成备份；
S204：每个任务的完成进度更新时，用新的检查点数据覆盖旧检查点存储的数据。
优选地，步骤S3具体包括以下步骤：
S301：检查心跳信息是否异常，异常心跳信息报告节点任务的运行情况，检测任务级别的故障，检测到故障之后，该任务进入任务容错调节阶段；
S302：初始化各节点信任度T和信度因子i；
S303：构建三维信度因子矩阵(x，y，z)，其中，x，y表示HDFS各节点到任意节点的信度因子，z轴表示这种空间状态在时间维度上的积累；
S304：检查节点间连通信息，若存在节点出现节点间连通信息异常，则该节点的信度值被降为T-i，i表示信度因子，信度因子时间轴衰减速度如下式：
it(A，B)＝α*it-1(A，B)，A∈N
其中，α为信度因子时间衰减系数；
S305：信度因子空间轴衰减速度如下式：
其中，β为信度因子空间衰减系数；
S306：通过对三维信度因子矩阵进行计算，将每个时间监测点与系统预设的阙值进行对比，信任度小于系统预设的阙值的节点，执行步骤S4；
S307：若节点只有时间信任度低于阙值，则说明一个节点的向个别节点发送数据失败，而向其他数据节点发送数据畅通，该特征为线路故障，进入节点容错调节阶段；
S308：检查节点间连通信息，若多个节点向某一节点数据请求都是失败，该特征为节点故障，如宕机的情况，则进入线路容错调节阶段。
优选地，步骤S4具体包括以下步骤：
S401：确认未完成任务信息，将故障任务按照故障时间先后顺序存入故障任务列表；
S402：按照未分配的故障任务时间优先的原则，每次故障任务再分配结束之后，将该故障任务的故障次数加1，并将状态设置为“已分配”；
S403：通过故障任务名称向中间数具存储器请求中间数据，若中间数据存在，则将该故障任务中间数据发送至任务的再分配节点；
S404：中间数据存储器在HDFS系统节点任务出现故障时，将中间数据恢复到任务再分配的节点；
S405：接受故障任务列表的再分配状态与再分配的节点ID；
S406：根据再分配任务检索所存储的中间数据，并根据再分配节点ID将对应中间数据推送至再分配节点，使节点在检查点继续运行向前计算。
优选地，步骤S5具体包括以下步骤：
S501：确认故障节点信息，将故障节点添加至故障节点列表，故障次数加1，记录时间，并将该节点ID从节点库中移除，主节点停止向该节点发送任务信息，系统通知工作人员检修；
S502：执行步骤S4，继续对受影响任务进行容错调节。
优选地，步骤S6具体包括以下步骤：
S601：确认故障线路信息，将故障线路添加至通信故障查修列表，线路故障次数加1，线路的端点A、B节点不再通过该线路向另一个节点请求信息，而是通过其他线路或跨节点请求，并通知人员检修；
S602：执行步骤S4，继续对受影响任务进行容错调节。
本发明的有益效果如下：
本发明中的一种HDFS分布式文件系统的自适应容错调节方法，基于具有良好容错能力的HDFS分布式文件系统，通过设计中间数据恢复机制，大大提高了中断任务再执行的运行效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出HDFS自适应容错机制流程图。
图2示出中间数据存储器备份流程图。
图3示出故障任务中间数据恢复流程图。
图4示出TFP任务容错阶段流程图。
图5示出线路故障容错机制LFP与节点故障容错机制NFP流程图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，一种HDFS分布式文件系统的自适应容错调节方法，该方法包括以下步骤：
1、初始化故障任务列表、通信故障查修列表、故障节点列表、节点库，获取主节点与从节点的心跳信息，获取节点间的节点间连通信息；
2、使用数据IO速度非常高、可靠性好的硬件设备组成高可靠性中间数据IO集群存储器，接入HDFS主节点与所有从节点连通；
如图2所示，备份与恢复各节点的中间数据：
3、通过HDFS系统任务监视器，获取任务完成进度百分比；
4、每个节点任务完成到该任务的25％、50％、75％时设置检查点；
5、进行任务的中间数据备份，将当下的所得结果与任务的百分比发送至中间数据存储器完成备份；
6、每个任务的完成进度更新时，用新的检查点数据覆盖旧检查点存储的数据；
7、主节点运行故障自诊断模块监视HDFS的运行情况，获取心跳信息与节点间连通信息；
8、检查心跳信息是否异常，异常心跳信息会报告节点任务的运行情况，能够检测任务级别的故障，检测到故障之后，该任务进入任务容错调节阶段(Task Fault-TolerantPhase，TFP)；
9、初始化各节点信任度T，信度因子i；
10、构建三维信度因子矩阵(x，y，z)，x，y表示HDFS各节点到任意节点的信度因子，z轴表示这种空间状态在时间维度上的积累；
如图3所示，进行自适应故障诊断和故障任务中间数据恢复：
11、检查节点间连通信息，如果存在节点出现节点间连通信息异常，则该节点的信度值被降为T-i，i表示信度因子，下面为信度因子时间轴衰减速度公式：
it(A，B)＝α*it-1(A，B)A∈N
其中，α为信度因子时间衰减系数。
12、下面为信度因子空间轴衰减速度公式：
其中，β为信度因子空间衰减系数。
13、通过对三维信度因子矩阵的计算，每个时间监测点都与给定的阙值进行对比，搜索信任度小于系统预设的阙值的节点，转至第14、15步操作；
14、如果某个节点只有时间信任度低于阙值，则说明一个节点的向个别节点发送数据失败，而向其他数据节点发送数据畅通，该特征为线路故障，进入节点容错调节阶段(Line Fault-Tolerant Phase,LFP)，转至第18步；
15、检查节点间连通信息，如果许多节点向某一节点数据请求都是失败，该特征为节点故障，如宕机的情况，则进入线路容错调节阶段(Node Fault-Tolerant Phase，NFP)，转至第17步；
16、如图4所示，任务容错调节阶段TFP：
1)、确认未完成任务信息，将故障任务按照故障时间先后顺序加入故障任务列表；
2)、按照未分配的故障任务时间优先的原则，每次故障任务再分配结束之后，将该故障任务的故障次数加1，将状态设置为“已分配”；
3)、随后通过故障任务名称向中间数具存储器请求中间数据，如果中间数据存在，将该故障任务中间数据发送至任务的再分配节点；
4)、中间数据存储器在HDFS系统节点任务出现故障时，将中间数据恢复到任务再分配的节点；
5)、接受故障任务列表的再分配状态与再分配的节点ID；
6)、根据再分配任务检索所存储的中间数据，并根据再分配节点ID将对应中间数据推送至再分配节点，使节点在检查点继续运行向前计算。
17、如图5所示，节点容错调节阶段NFP：
1)、确认故障节点信息，将故障节点添加至故障节点列表，故障次数加1，记录时间，并将该节点ID从节点库中移除，此时主节点不再向该节点发送任务信息，系统通知工作人员检修；
2)、转到第16步TFP继续执行。
18、如图5所示，线路容错调节阶段LFP：
1)、确认故障线路信息，将故障线路添加至通信故障查修列表，该线路故障次数加1，该线路的端点A、B节点不再通过该线路向另一个节点请求信息，而是通过其他线路，或者跨节点请求，并通知人员检修；
2)、转到第16步TFP继续执行。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种HDFS分布式文件系统的自适应容错调节方法，其特征在于，该方法包括以下步骤：
S1：初始化系统，获取主节点与从节点的心跳信息，获取节点间的节点间连通信息；
S2：建立中间数据存储器，接入HDFS主节点与所有从节点连通，备份与恢复各节点的中间数据；
S3：进行自适应故障诊断；
S4：调用任务容错调节阶段流程；
S5：根据情况选择调用节点容错调节阶段流程；
S6：根据情况选择调用线路容错调节阶段流程。
2.根据权利要求1所述的自适应容错调节方法，其特征在于，所述初始化系统包括对故障任务列表、通信故障查修列表、故障节点列表和节点库进行初始化。
3.根据权利要求1所述的自适应容错调节方法，其特征在于，使用具有高数据IO速度和可靠性的硬件设备组成高可靠性中间数据IO集群存储器作为中间数据存储器。
4.根据权利要求1所述的自适应容错调节方法，其特征在于，所述自适应故障诊断通过主节点运行故障自诊断模块监视HDFS的运行情况，根据心跳信息与节点间连通信息判断故障种类。
5.根据权利要求1所述的自适应容错调节方法，其特征在于，所述步骤S2中，中间数据存储器备份中间数据具体包括以下步骤：
S201：通过HDFS系统任务监视器，获取任务完成进度百分比；
S202：在每个节点任务完成至该任务的25％、50％和75％时，设置检查点；
S203：进行任务的中间数据备份，将所得结果与对应任务的百分比发送至中间数据存储器完成备份；
S204：每个任务的完成进度更新时，用新的检查点数据覆盖旧检查点存储的数据。
6.根据权利要求1所述的自适应容错调节方法，其特征在于，所述步骤S3具体包括以下步骤：
S301：检查心跳信息是否异常，异常心跳信息报告节点任务的运行情况，检测任务级别的故障，检测到故障之后，该任务进入任务容错调节阶段；
S302：初始化各节点信任度T和信度因子i；
S303：构建三维信度因子矩阵(x，y，z)，其中，x，y表示HDFS各节点到任意节点的信度因子，z轴表示这种空间状态在时间维度上的积累；
S304：检查节点间连通信息，若存在节点出现节点间连通信息异常，则该节点的信度值被降为T-i，i表示信度因子，信度因子时间轴衰减速度如下式：
it(A，B)＝α*it-1(A，B)，A∈N
其中，α为信度因子时间衰减系数；
S305：信度因子空间轴衰减速度如下式：
i t ( X , B ) = β * i t - 1 ( A , B ) , X ∉ N
其中，β为信度因子空间衰减系数；
S306：通过对三维信度因子矩阵进行计算，将每个时间监测点与系统预设的阙值做对比，信任度小于系统预设的阙值的节点，执行步骤S4；
S307：若节点只有时间信任度低于阙值，则说明一个节点的向个别节点发送数据失败，而向其他数据节点发送数据畅通，该特征为线路故障，进入节点容错调节阶段；
S308：检查节点间连通信息，若多个节点向某一节点数据请求都是失败，该特征为节点故障，则进入线路容错调节阶段。
7.根据权利要求1所述的自适应容错调节方法，其特征在于，所述步骤S4具体包括以下步骤：
S401：确认未完成任务信息，将故障任务按照故障时间先后顺序存入故障任务列表；
S402：按照未分配的故障任务时间优先的原则，每次故障任务再分配结束之后，将该故障任务的故障次数加1，并将状态设置为“已分配”；
S403：通过故障任务名称向中间数具存储器请求中间数据，若中间数据存在，则将该故障任务中间数据发送至任务的再分配节点；
S404：中间数据存储器在HDFS系统节点任务出现故障时，将中间数据恢复到任务再分配的节点；
S405：接受故障任务列表的再分配状态与再分配的节点ID；
S406：根据再分配任务检索所存储的中间数据，并根据再分配节点ID将对应中间数据推送至再分配节点，使节点在检查点继续运行向前计算。
8.根据权利要求1所述的自适应容错调节方法，其特征在于，所述步骤S5具体包括以下步骤：
S501：确认故障节点信息，将故障节点添加至故障节点列表，故障次数加1，记录时间，并将该节点ID从节点库中移除，主节点停止向该节点发送任务信息，系统通知工作人员检修；
S502：执行步骤S4，继续对受影响任务进行容错调节。
9.根据权利要求1所述的自适应容错调节方法，其特征在于，所述步骤S6具体包括以下步骤：
S601：确认故障线路信息，将故障线路添加至通信故障查修列表，所述线路故障次数加1，所述线路的端点A、B节点通过其他线路或跨节点请求，并通知人员检修；
S602：执行步骤S4，继续对受影响任务进行容错调节。
CN201611224890.XA 2016-12-27 2016-12-27 一种hdfs分布式文件系统的自适应容错调节方法 Expired - Fee Related CN106777238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611224890.XA CN106777238B (zh) 2016-12-27 2016-12-27 一种hdfs分布式文件系统的自适应容错调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611224890.XA CN106777238B (zh) 2016-12-27 2016-12-27 一种hdfs分布式文件系统的自适应容错调节方法

Publications (2)

Publication Number Publication Date
CN106777238A true CN106777238A (zh) 2017-05-31
CN106777238B CN106777238B (zh) 2019-10-18

Family

ID=58920969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611224890.XA Expired - Fee Related CN106777238B (zh) 2016-12-27 2016-12-27 一种hdfs分布式文件系统的自适应容错调节方法

Country Status (1)

Country Link
CN (1) CN106777238B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301131A (zh) * 2017-06-30 2017-10-27 郑州云海信息技术有限公司 一种分布式存储管理软件故障诊断方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024047A (zh) * 2012-12-17 2013-04-03 江苏乐买到网络科技有限公司 一种数据容错方法
CN103885441A (zh) * 2014-03-26 2014-06-25 南京邮电大学 一种控制器局域网络的自适应故障诊断方法
CN104461752A (zh) * 2014-11-21 2015-03-25 浙江宇视科技有限公司 一种两级故障容错的多媒体分布式任务处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024047A (zh) * 2012-12-17 2013-04-03 江苏乐买到网络科技有限公司 一种数据容错方法
CN103885441A (zh) * 2014-03-26 2014-06-25 南京邮电大学 一种控制器局域网络的自适应故障诊断方法
CN104461752A (zh) * 2014-11-21 2015-03-25 浙江宇视科技有限公司 一种两级故障容错的多媒体分布式任务处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
屈志坚、陈阁: ""基于数据仓库的铁路供电调度监控海量信息容错存储新方法"", 《中国铁路》 *
陈洪江: ""MapReduce下容错机制的研究与优化"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301131A (zh) * 2017-06-30 2017-10-27 郑州云海信息技术有限公司 一种分布式存储管理软件故障诊断方法及系统

Also Published As

Publication number Publication date
CN106777238B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN102402395B (zh) 基于仲裁磁盘的高可用系统不间断运行方法
CN105335251B (zh) 一种故障恢复方法及系统
US20040205414A1 (en) Fault-tolerance framework for an extendable computer architecture
US20120023209A1 (en) Method and apparatus for scalable automated cluster control based on service level objectives to support applications requiring continuous availability
US8370679B1 (en) Method, apparatus and system for improving failover within a high availability disaster recovery environment
US20130212205A1 (en) True geo-redundant hot-standby server architecture
JP2005209201A (ja) 高可用性クラスタにおけるノード管理
CN110190991B (zh) 一种多应用场景下的分布式流处理系统的容错方法
CN105988894A (zh) 一种双活模式的容灾技术
CN113821376A (zh) 一种基于云灾备的一体化备份容灾方法及系统
CN110046064B (zh) 一种基于故障漂移的云服务器容灾实现方法
CN106777238A (zh) 一种hdfs分布式文件系统的自适应容错调节方法
CN110990197B (zh) 一种基于超级计算机的应用级多层检查点的优化方法
Agepati et al. Optimal software rejuvenation policies
Engelmann et al. Concepts for high availability in scientific high-end computing
Singh et al. Using host criticalities for fault tolerance in mobile agent systems
CN115378800A (zh) 无服务器架构分布式容错系统、方法、装置、设备及介质
CN111930563B (zh) 云仿真系统中的容错方法
CN104516778B (zh) 一种多任务环境下进程检查点的保存与恢复系统及方法
KR101909264B1 (ko) 분산 sdn 제어기 구조에서 제어기 장애 복구 시스템 및 방법
CN114827148B (zh) 基于云容错技术的云安全计算方法和装置、存储介质
US20230092343A1 (en) Lockstep processor recovery for vehicle applications
CN116545845B (zh) 生产服务器冗余备份装置、系统及方法
Ahmad A massively parallel fault-tolerant architecture for time-critical computing
Brady Designing GIS for high availability and high performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

Termination date: 20191227